A/B-тесты в узких нишах – не миф, а реальность

Низкий трафик тестам не помеха

От экспертов по интернет-рекламе можно услышать, что A/B-тестирование похоже на игру с «одноруким бандитом»: бросить в автомат немного денег, пару раз потянуть ручку, получить три вишенки и забрать легкий выигрыш.

Звучит заманчиво, но только если рекламная кампания получает стабильный высокий трафик, а средства на продвижение позволяют тратить их часть на эксперименты. Обычно именно по этим причинам малые бизнесы с ограниченным бюджетом и аккаунты тематик с редкими кликами вовсе отказываются от тестов.

И почти всегда это большая ошибка. Дело в том, что A/B-тесты можно и нужно использовать даже в условиях низкого трафика, важно грамотно подойти к их запуску. В этой статье мы поделимся советами, как это сделать.

Формула успешного теста

Вы избавитесь от большинства характерных проблем низкого трафика, если при планировании и проведении теста будете следовать следующим принципам.

1 Выдвинуть гипотезу

A/B-тесты хороши не сами по себе, а только как подтверждение или опровержение заранее поставленной гипотезы. Иными словами, еще до планирования эксперимента вы уже должны предполагать его ожидаемый результат. 

Варьировать разные элементы объявления, чтобы посмотреть, к чему это приведет – дорогое и непоследовательное занятие. И если крупные компании хотя бы могут его себе позволить, вам нужно быть особенно избирательными с самого начала.

Определиться с гипотезой можно с помощью простой формулы «что если… ?»:

• что если мы поменяем цвет призыва к действию на баннере?

• что если мы вынесем другое преимущество товара в заголовок?

• что если мы сократим показы объявлений в выходные дни?

По возможности проведите мозговой штурм, чтобы выявить самое стоящее предположение. 

Возможные объекты экспериментов:

• количество заголовков и описаний

• объем заголовков и описаний

• тон и формулировка заголовков и описаний

• указание или отсутствие точных цифр и цен

• призыв к действию

• центральное УТП или главное преимущество продукта

• расширения и уточнения объявлений

• отображаемые и реальные ссылки

• расписание показов

• стратегия назначения ставок

• ключевые слова

• геотаргетинг

• аудиторный таргетинг

• цветовая схема и дизайн баннера

• наличие или отсутствие анимации или видео

Как только вы определитесь с единственным элементом для тестирования и сформулируете, какое улучшение ждете от его изменения, считайте, что гипотеза у вас есть.

2 Снизить уровень доверия

Это не призыв начать скептически относиться в A/B-тестам: уровень доверия – это всего лишь термин из статистики. Если вы хотя бы раз пользовались Экспериментами Google Ads, вы уже сталкивались с его применением на практике.

В Google уровень доверия всегда равен 95 %. Это позволяет рекламодателям получать наиболее точные результаты экспериментов.

Пример

Допустим, ваша экспериментальная рекламная кампания завершила работу, набрав на 30 % больше кликов, чем исходная. Это не значит, что по новому объявлению всегда кликают ровно в 1,3 раза чаще: поведение отдельных пользователей может отличаться от поведения охваченной выборки. Поэтому возможный прирост переходов Google покажет в виде интервала, например, [+26 %, +34 %]. Реальная прибавка эффективности попадет в него с вероятностью в 95 % (или с уровнем доверия 95 %).

Однако такая точность не всегда необходима. Бизнес-решения – не научные выводы, и для их принятия достаточно быть уверенным в цифрах на 90 %, если не меньше. Даже такое небольшое снижение уровня доверия заметно сократит время и бюджет теста.

Плохая новость в том, что рассчитывать, сколько кликов необходимо для его достижения, придется самостоятельно. Для этого существует целый ряд онлайн-калькуляторов – например, вот этот.

Регулярно вводите количество показов и кликов (или конверсий, смотря что вы тестируете) в контрольной и тестовой группе объявлений, а также уровень доверия – 80 % или 90 % – и приложение подскажет вам, когда пора завершить эксперимент.

3 Сравнивать группы, а не объявления

Тестировать несколько объявлений внутри одной группы в Яндекс.Директе и Google Ads очень просто: платформы делают это автоматически. Однако такой способ тестов также требует стабильного трафика и ощутимых затрат, поэтому нам подойдет в меньшей степени.

Аккаунтам с ограниченным количеством кликов стоит рассмотреть другой вид эксперимента – группа объявлений против группы объявлений. К примеру, если вы хотите проверить, повлияет ли на CTR указание локации в заголовке или добавление нового уточнения, вы можете скопировать существующую группу и внести в нее соответствующие изменения.

Тест также нужно будет настроить вручную. В Яндекс.Директе это может быть традиционное шахматное тестирование, когда сравниваемые группы объявлений разносятся в разные кампании с чередующимся расписанием показов:

В Google Ads провести такой тест легко с помощью Проектов и экспериментов:

Создайте проект на основе существующей кампании и внесите в него необходимые изменения. После этого запустите эксперимент, указав выделяемую на него долю бюджета:

4 Определить сроки

С низким трафиком приходится быть терпеливым. Особенно учитывая то, что срок достижения статистической значимости даже с невысоким уровнем доверия заранее неизвестен.

Как мы уже говорили, калькулятор доверительного интервала подскажет, что пора завершать тест, но рассчитывать, что это произойдет за 1-2 недели не следует. Приготовьтесь к тому, что на эксперимент уйдет как минимум пара месяцев: обычно он того стоит.

5 Использовать сводные таблицы

Когда тест завершен, для анализа его результатов понадобятся специальные аналитические инструменты. Начать можно со сводных таблиц Excel или Google Таблиц. Они позволяют агрегировать данные об эффективности как отдельных элементов объявлений, так и их сочетаний.

Пример

Допустим, вы сравнивали 4 группы объявлений с 4 видами заголовков и 4 видами описаний в Google Ads. Выгрузка отчета об их работе может выглядеть следующим образом:

Открыв файл в Excel или Google Docs, выделите таблицу целиком и выберите пункт «Сводная таблица» или «Pivot table» на вкладке «Данные». Так вы получите более структурированное представление показателей. В Google Таблицах для этого также необходимо добавить заголовки и описания в качестве строк, а метрики – в качестве столбцов:

Строки подытогов по каждому из заголовков и комбинаций с разными описаниями помогут выделить их самое конверсионное сочетание.

6 Принимать решения, основанные на фактах

Пожалуй, самый сложный пункт. Люди склонны принимать решения под влиянием эмоций, даже когда они противоречат рациональным доводам. Если выдвинутая гипотеза, в правильность которой вы верили с самого начала, не подтвердилась, вполне естественным будет объяснять это статистической ошибкой, малым периодом тестирования, недостатком бюджета и т.п.

В такой ситуации единственный выход – забыть о том, что говорят ваши чувства и поверить цифрам. Гениальная идея не сработала – значит, к вашей тематике она не подходит, и придется от нее отказаться. Это не вы ошиблись: ни один человек не смог бы с полной уверенностью предсказать исход эксперимента.

Профессиональное «чутье» и многолетний опыт имеют ценность, но вы выделяли средства на тесты не для того, чтобы потом выбросить из головы их результат.

Перед стартом

Когда гипотеза для эксперимента выдвинута, а тестовые кампании настроены и готовы к запуску, задайте себе еще раз несколько контрольных вопросов:

• Готовы ли мы ждать результатов пару месяцев? 

• Не попадет ли этот период на сезонные изменения спроса?

• Какой метрикой мы будем оценивать эффективность тестовой кампании (CTR, конверсии, коэффициент конверсии, CPA и т.п.)?

• Достаточно ли нам выбранного уровня доверия?

• Как мы будем анализировать результаты теста?

• Стоит ли эксперимент связанного с ним риска?

Только если на все из них у вас есть убедительные ответы, тест можно запускать. Ограниченный бюджет и нестабильный трафик – веские причины быть вдвойне осторожным.

Сделать подготовку к тестированию проще можно с помощью сервиса автоматизации Click.ru. Он поможет найти в вашей тематике еще не опробованные ключевые слова и создать нужное для эксперимента количество групп объявлений. Редактировать единые для Яндекс и Google креативы удобно прямо в личном кабинете системы, а настраивать детали тестовых кампаний – через прямой доступ к самим платформам.

Кроме того, часть потраченных на тестирование средств вы сможете получить обратно на счет. Программа партнерского вознаграждения вернет вам стабильную долю рекламных расходов независимо от того, насколько удачным оказался эксперимент.