Семь заблуждений об А/B-тестировании

Интернет-маркетинг вооружил рекламистов точными метриками и инструментами, с помощью которых идеи тестируются еще до запуска в массы. Одним из них является сплит-тестирование, или A/B-тестирование.

С помощью A/B-тестирования проверяют маркетинговые гипотезы и выбирают те, которые в дальнейшем пойдут в работу.

Иной раз на ресурсах для маркетологов появляются фантастические примеры, где по результатам A/B-тестирования компания заменила лишь одно слово в кнопке, а это привело к росту CTR на 90 %. Правда это или хвастовство перед коллегами, мы никогда не узнаем. Но то, что A/B-тестирование увеличивает конверсию, — неоспоримый факт.

Не все маркетологи готовы тестировать письма из-за нескольких распространенных заблуждений.

Заблуждение № 1: Интуиция подскажет лучше всяких тестов

Маркетологу не привыкать опираться на интуицию и накопленный опыт. Но даже профессионалам трудно просчитать все факторы, которые оказывают влияние на поведение людей.

Когда специалисты агентства Location3 Media запускали A/B-тест для своего клиента, они были уверены, что упоминание сертификата безопасности данных в форме для сбора лидов увеличит количество регистраций. Предположение маркетологов звучало убедительно: люди охотнее оставляют адреса, если знают, что это безопасно.

Для проверки предположения половине посетителей сайта показывали регистрационную форму со значком eTrust, а другой — обычную форму. Маркетологи выждали некоторое время и оценили количество регистраций с каждой из них.

Оказалось, что форма с eTrust не оправдала ожиданий: в ней регистрировалось на 13 % меньше людей, чем в обычной форме. Сертификаты безопасности ассоциируются у пользователей с платежными системами, поэтому люди опасались регистрироваться. Маркетологи не учли это обстоятельство при разработке гипотезы. Такие тонкие нюансы вскрываются при A/B-тестировании. Тесты позволяют изучать аудиторию и в будущем точнее прогнозировать ее реакцию.

Заблуждение № 2: Чужой опыт лучше тестирования

Запускать ли свое тестирование, если кто-то уже установил, что зеленая кнопка работает лучше красной, а короткие тексты эффективнее длинных?

Правда в том, что зеленая кнопка сработала лучше для определенного бизнеса и его аудитории. В вашем случае тот же самый тест может показать иные результаты. Если у  кого-то лучше работают длинные тексты, это может говорить о специфике продукта, для продажи которого нужно больше информации.

Чужие кейсы не ответят на вопрос, как отреагирует именно ваша аудитория, если вы прибегните к аналогичным экспериментам. Но чужой опыт полезен для вдохновения и поиска идей. Пытайтесь понять, почему другая компания получила такие результаты, и используйте ее маркетинговую логику для выбора элемента тестирования.

Заблуждение № 3: Если тестировать, то все

Тестировать каждую мелочь не всегда целесообразно. Представьте, как медленно вы будете двигаться к идеальному варианту письма, учитывая то, что одна рассылка может тестировать только один элемент. Конечно, если речь идет о долгосрочной перспективе, к такой стратегии стоит прибегнуть. Маркетологи хотят улучшить показатели именно текущей рассылки. Для этого надо искать ключевой элемент в письме, изменение которого приведет к росту конверсии.

Чужой опыт может подсказать, что может стать этим ключевым элементом. Загляните в свои старые рассылки — обратите внимание на то, какие из них демонстрировали хорошие результаты. Если чувствуете какую-то связь высокой конверсии с оформлением, содержанием, временем отправки, проверьте по очереди предположения на A/B-тесте.

Не экспериментируйте без веских причин с именем отправителя. Если рассылка существует давно, у отправителя сложилась репутация, которую легко испортить. Изменив имя отправителя, вы рискуете спровоцировать отписки и добавления в спам.

Заблуждение № 4: Выбирать лучший вариант по двум метрикам

По каким метрикам выбирать победителя в тестировании, зависит от того, какие элементы вы тестируете. Если тему письма — оценивайте OpenRate, кнопку в письме — CTR.

Высокий OpenRate в письмах не всегда свидетельствует о том, что письмо будет удачным. Он лишь говорит о том, что тема оказалась достаточно интригующей, чтобы подписчик открыл письмо. Дальше — очередь за содержанием. Если оно не оправдает заявленных в теме ожиданий, это приведет к разочарованию подписчиков: отсутствию переходов и даже к отпискам. Поэтому с яркими темами письма всегда стоит экспериментировать с осторожностью.

OpenRate и ClickRate являются распространенными метриками для оценки привлекательности писем. Если перед вами стоит задача оценить то, насколько письмо побудило к целевому действию (регистрации, переходу в каталог, оформлению заказа), нужны дополнительные метрики.

Профессиональные email-маркетинговые платформы могут фиксировать совершение целевого действия и путь, который подписчик прошел к нему. Система собирает информацию со счетчиков, установленных на страницах сайта, и закрепляет данные за соответствующим подписчиком, который относится к той или иной тестируемой группе. Оценив поведение после клика в письме, вы поймете, какой вариант более эффективен.

Заблуждение № 5: Результатам тестирования всегда можно доверять

Оказывается, не всегда, а лишь когда соблюдены три условия достоверного результата.

Условие первое: оптимальный размер выборки

Чтобы полученные на тестовой группе результаты можно было распространить на всех подписчиков, нужно рассчитать, сколько подписчиков из всей совокупности следует выбрать для теста. Для расчета используют формулы или созданные на их основе онлайн-калькуляторы. Их можно найти по запросу «расчет размера выборки».

Источник: marketolog.biz

Условие второе: репрезентативность

Важно отобрать адреса для тестирования произвольно, чтобы алгоритм выбора не повлиял на результат. Перед тестированием очистите базу от несуществующих адресов, адресов с ошибками доставки. Желательно учесть все факторы, влияющие на отклик: так, если в группу A попадет больше пользователей мобильных устройств, чем в группу B, это исказит результаты из-за разного отображения письма на устройствах.

Условие третье: одна переменная

Варианты A и B должны различаться только одним элементом, иначе невозможно понять, что именно повлияло на конверсию. Любое дополнительное расхождение, к примеру, отправка писем в разное время, повлияет на результаты.

Если ваши тесты не отвечают этим трем условиям, не стоит на основе полученных результатов принимать глобальных решений.

Заблуждение № 6: Тестирование сразу поможет выбрать лучший вариант

Бывает так, что один из вариантов превосходит в результативности второй всего на несколько процентов. Это не повод считать, что вы уже нашли лучший вариант письма, а сигнал к тому, что надо продолжать эксперименты. Например, специалисты Appsumo.com признались, что в среднем из восьми сделанных A/B-тестов успешным оказывается один.

Подобные трудности останавливают многих маркетологов на середине пути. Но тот тест, который все-таки окажется успешным, может значительно поднять конверсию. Так и получилось у Appsumo.com: удачный тест помог увеличить конверсию в пять раз и поднять продажи.

Заблуждение № 7: провести A/B-тестирование технически сложно

В email-маркетинге  — нет. Профессиональные решения предлагают запускать тестирование писем прямо в интерфейсе сервиса. Это очень удобно: не нужно искать дополнительные сервисы или привлекать программистов. Для полноценного тестирования понадобится несколько ключевых опций:

• Создание двух версий письма с возможностью задать разное содержание и тему;
• Возможность отложить отправку каждого варианта на определенную дату и время для экспериментов с временем рассылки;
• Произвольная выборка указанного количества подписчиков для тестовой группы;
• Выбор критерия для определения победителя: открытия или переходы;
• Функция автоматического выбора победителя и отправки основной рассылки остальным подписчикам;
• Возможность выбрать победителя вручную для случаев, когда необходимо изучить все показатели для принятия решения.
• Если вы до сих пор пользуетесь самописным решением для рассылки и страдаете без полезных инструментов, переходите на профессиональную платформу, где обо всем этом уже позаботились. Например, Sendsay, SmartFocus, Expertsender, UniSender.

Источник картинки на тизере: Vwo.com