7 советов по A/B тестированию сайтов с низким трафиком!

После запуска новых проектов многие из наших заказчиков задают вопрос: Как нам провести A/B тестирование?

Что мы все знаем об A/B тестировании?

“A/B тестирование (сплит тестирование) - метод маркетингового исследования, суть которого - сравнение с набором тестовых групп, в которых один или несколько показателей были изменены, для того, чтобы выяснить, какие из изменений улучшают целевой показатель.”

Для этих манипуляций вам потребуется достаточно большой размер выборки посетителей.

Возникает следующий вопрос: Насколько большой должен быть объём выборки?

Требуемый размер выборки всегда зависит от трех основных параметров:

• Текущий коэффициент конверсии
• Ожидаемое
• Улучшение конверсии      
• Уровень доверия посетителя

Вот так выглядят реальные данные многих сайтов в Рунете:

• Текущая конверсия на странице: 2%
• Ожидаемое улучшение: 20%
• Уровень доверия посетителей: 95%
• Размер выборки из расчёта данных должен составлять: 13 791 пользователей на один вариант при общих 27 582 пользователей, на одну страницу. У многих стартовых проектов такой трафик, достигается за квартал, а то и за год.

Мы предлагаем несколько по-настоящему рабочих методов решения проблем, связанных с низким трафиком на сайте, которые помогут вам выстроить правильные A/B тесты.

1. Больше гипотез.

Творчески подойдите к вопросам построения альтернативной страницы для тестирования. Она должна кардинально отличаться.

Подумайте о ценностях торгового предложения и того, как они сейчас представлены на вашем сайте: доставка, гарантия, цена и так далее.

Больше гипотез и предложений - меньше выборка!

Так как в нашем примере несколько изменений, то и процент ожидаемого улучшения тоже будет выше, в отличие от предыдущих данных.

• Текущая конверсия на странице: 2%
• Ожидаемое улучшение: 50% 
• Уровень доверия посетителей: 95%
• Размер выборки: 3 819 пользователей на один вариант.

Где предыдущие 13 791 пользователей и где наши 3 819.

Хороший пример множества изменений на странице.

Недостатком данного подхода является то, что вам тяжело определить какой элемент стал ключевым и повлиял на то, что выиграл А или B вариант. Мы считаем этот недостаток малозначительным, так как на старте любой плюс это плюс, конверсия увеличилась - мы победили.

2. И даже не думайте о MVT и A / B / C /....  тестах.

Кратко: MVT - это мультивариантное тестирование, проводимое по принципу A/B тестирования.

Каждое дополнительное тестовое изменение значительно увеличивает продолжительность теста.

Например, ваш еженедельный трафик в среднем составляет 4 100 посетителей. Если требуемый размер выборки для каждого варианта составляет 3 819 (как в примере ранее), то вам понадобится 2 недели только для того, чтобы получить результаты теста A / B.

3 недели, чтобы получить результаты теста A / B / C и целых 4 недели, чтобы получить результаты тестах в вариантах A / B / C / D.

Если тесты проводятся более 3-4 недель, существует большой риск загрязнения каждого из тестируемых вариантов. Праздники, акции, технические проблемы на сайте - внешние факторы, от которых страдают результаты тестирования. Большое количество посетителей может просто удалить свои файлы cookie, которые отвечают за то, какие изменения видят или не видят ваши посетители.

По данным компании Econsultancy (отчет сформирован на основании 1600 онлайн-респондентов), 73% респондентов регулярно проверяют свои настройки браузера, а также проводят чистку cookie. Когда их спросили, что они скажут, если веб-сайт попросил их разрешить устанавливать cookie при их посещении, только 23% ответили “да” (60% ответили “возможно”).

Вывод - если ваш запланированный эксперимент A / B / C требует 4 недели и более, то разделите его на два коротких A / B теста. Поверьте, качество данных будет намного выше.

3. Выбирайте в тесте микро-конверсии в качестве основного KPI

Оптимизация любого ресурса - это улучшение ключевых показателей эффективности сайта. Показатели эффективности принято разделять на две основные категории:

• Макро-конверсии. Это основные цели сайта. Например: оформление заказа, звонок, запрос тестового периода и так далее  
• Микро-конверсии. Представляют собой промежуточные или дополнительные шаги к макро-конверсии. Например: просмотр видео, подписка на новости, репост, добавление в сравнение, просмотр на посетителя и так далее.

С большой вероятностью, микро-конверсий на вашем сайте гораздо больше чем макро-конверсий, а показатели их в разы выше.

Чем выше коэффициент конверсии, тем меньше должна быть длина A/B тестирования:    

• Текущая конверсионная ставка: 10 %
• Ожидаемое улучшение: 20 %
• Уровень доверия: 95%      
• Размер выборки: 3 834 посетителей на один вариант

Самое главное - не забывайте, что улучшения показателей микро-конверсий не всегда приводят к большому росту макро-конверсий!

Это хороший пример, того как можно повысить показатели микро-конверсии.

За счёт этого хода, мы увеличили показатели микро-конверсий в два раза, но показатель макро-конверсии вырос всего лишь на 5%

4. Проведение A/B тестирования всего сайта.

В ситуации, когда ваш сайт не имеет большого количества трафика, то не ограничивайте свои сплит-тесты отдельными страницами или сегментами посетителей. Вы должны использовать в тестировании максимальный объем трафика, который получает ваш сайт.

Классические примеры использования тестирования могут включать тесты заголовков, верхнего меню или вообще тесты нового макета сайта.

Недостатком всех A/B тестов является необходимый объём посетителей для тестирования. Поэтому, как упоминали ранее, необходимо шире смотреть на изменения. Однако сложно продумать большие A/B тесты для сайта, это почти то же самое, что проводить тестирование двух совершенно разных веб-сайтов.

Тем не менее, наша задача привлечь как можно больше трафика для теста.

5. Увеличьте тестовый трафик A/B тестирования

Самое простое. Когда вам нужно выполнить важный A/B тест, но совсем нет времени ждать, вы можете просто временно увеличить объем трафика с помощью рекламных кампании или рассылок..

Это абсолютно законный способ увеличения объема трафика и, следовательно, сокращения длины A/B тестов. Однако этот способ тоже таит в себе много опасностей. Результаты подобных экспериментов могут быть загрязнены особенностью привлеченного трафика.

Это означает, что победитель теста может быть проигравшим в обычных “не тепличных” условиях.

На результат может повлиять:    

• качество трафика      

• аудитория привлеченного трафика

• время привлечения трафика      

То же самое можно сказать об A/B тестировании во времена Новогодних праздников, Черной пятницы и любых других праздников. Вы должны избегать тестирования в течение этих периодов времени, поскольку вы получаете другой тип трафика, чем в течение текущего года.

6. «A/B тест» с использованием теста в 5 секунд.

5 Seconds Test - простой инструмент юзабилити, созданный Usabilityhub. Вы загружаете туда свой макет сайта или скриншот, добавляете несколько вопросов, и реальные пользователи увидят его всего на 5 секунд, а затем ответят на ваши вопросы.

Самый быстрый тест можно провести с помощью инструментов веб-разработчика в браузере. Вносим изменения в режиме реального времени, затем вы снимаете скриншот и загружаете как оригинальные, так и альтернативные версии в 5 Seconds Test и мгновенно получаете результат.

Конечно, это не настоящие A/B тесты, но мы считаем что это отличный метод сформировать и проверить небольшие и простые гипотезы. Например:

• какой цвет
• какой размер шрифта

7. Обязательно выполняйте «B/A тестирование»

Когда для проведения сплит-теста у вас вообще нет времени, и вы уверены в изменениях, сделайте, по крайней мере «B/A тестирование» - до/после тестирования.

В данном способе есть тоже свои подводные камни, они связаны в первую очередь с подготовкой.

Удостоверьтесь:

• что вы внедряете изменения в устойчивый к трафику период (опять же праздники, срезы сезонов)
• что рабочая версия действительно готова к публичной демонстрации (баги, устойчивая работа на всех устройствах)
• внимательно контролируйте трафик на протяжении всего времени B/A теста

Одним из самых основных преимуществ A/B тестирования является тот факт, что оба варианта работают одновременно, поэтому внешние факторы, как правило, сводятся к минимуму. Это правило не подходит к B/A тестированием. И, несмотря на это, мы вынуждены признать, что иногда это лучший и единственный способ внести и контролировать изменения на сайте.

Удачи в развитии и оптимизации Ваших ресурсов!