4 распространенных ошибки при проведении A/B-тестирования

А/Б-тесты рассылки помогают бизнесу решить следующие задачи:

• оптимизировать стратегию email-маркетинга;

• повысить эффективность маркетинговых коммуникаций;

• улучшить пользовательский опыт: понять предпочтения пользователей и создавать для них более релевантные и привлекательные рассылки.

С помощью А/B-теста можно проверять не только рассылки, но и, например формы регистрации, интерфейс отдельных элементов на сайте, описания товаров, акции и скидки.

Чего нельзя делать при тестах: 

1. Менять настройки в процессе тестирования.

2. Запускать тестирование без проработанной гипотезы.

3. Использовать слишком много тестируемых вариантов.

4. Неправильно рассчитать выборку.

Ошибка №1. Менять настройки в процессе тестирования

Представим, что компания запустила тестирование двух вариантов прехедеров в email-рассылке. На следующий день маркетологи придумали более привлекательный вариант прехедера и решили добавить его в тест. Это привело к тому, что результаты тестирования оказались нерелевантными.

Не стоит менять дизайн, выбору или добавлять дополнительный вариант сразу после тестирования.

Ошибка №2. Запускать тестирование без проработанной гипотезы 

Гипотеза — это предположение, что изменится, если компания поменяет тему письма. Например, интернет-магазин сформулировал гипотезу так: «Если добавить в тему письма имя получателя, открываемость писем увеличится на 1,5%».

«Гипотеза должна быть конкретной и измеримой — например: “Изменение темы письма на персонализированную увеличит открываемость на 2%”. При такой гипотезе будет легко понять, сработало А/Б тестирование или нет» — Кирилл Богданов, CRM-маркетолог RetailCRM

Гипотеза должна быть конкретной, подробной и содержать метрику, которую компания хочет проверить.

Неправильная гипотеза

Изменение темы письма увеличит открываемость.

Правильная гипотеза

Изменение темы письма на персонализированную увеличит открываемость на 3%.

Ошибка №3. Использовать слишком много тестируемых вариантов

Оптимальнее сравнивать на тестировании два варианта письма. Если их будет больше, можно запутаться в результатах теста и сделать неправильные выводы.

Если вариантов на проверку много, лучше провести несколько тестирований. 

Ошибка №4. Неправильно рассчитать выборку

Выборка — количество людей, которое нужно для теста. От выборки зависит, насколько достоверными будут результаты тестирования. Оптимального значения здесь нет: всё зависит от вашей гипотезы и ожидаемых результатов.

Рассчитать выборку можно с помощью специального калькулятора.

«При подсчёте выборки учитывайте текущие показатели метрик, желаемое улучшение и статистическую значимость. Например, при открываемости 20% и желаемом улучшении на 5% для статистической значимости 95% потребуется около 1 000 подписчиков в каждой группе» — Кирилл Богданов, CRM-маркетолог RetailCRM

Результаты тестирования могут быть недостоверными, если компания сделала слишком маленькую или, наоборот, слишком большую выборку. В таком случае не получится определить оптимальный вариант письма, который получит отклик у большинства аудитории.

При настройке новой email-рассылки не забывайте и об общих правилах: избегайте спам-слов в теме и тексте письма, проверяйте кликабельность ссылок и тексты на наличие грамматических и орфографических ошибок. Если вы учтёте все правила, A/B тестирование пройдёт успешно, а его результаты усилят вашу маркетинговую стратегию.