19 октября 2015, 12:05

Как избежать ошибок в A/B-тестировании

A/B-тестирование сайтов — сложный, но очень эффективный инструмент увеличения конверсии. Из-за сложности специалисты допускают много ошибок при проведении экспериментов, и каждая из них может испортить всю стратегию. Создатель блога Boosta.ru и руководитель сервиса A/B тестирования Changeagain.me Андрей Баклинов рассказывает, как избежать самых распространенных ошибок.

Andrei Baklinau, Changeagain.me

Топ-10 ошибок A/B-тестирования

1. Тестируем все и сразу

Одна из главных и самых распространенных ошибок. Ее причины:

Нет четкой и обоснованной гипотезы тестирования;
Хочется получить результаты быстро, а не последовательно, проверяя влияние отдельно взятых элементов.

В итоге вы никогда не узнаете, что именно повлияло на увеличение кликабельности кнопки, на увеличение переходов на следующий этап воронки продаж, на увеличение прибыли. Если вам повезет, и эксперимент окажется успешным, то показатели увеличатся, но вы не поймете, из-за чего.

Успейте купить корпоративный пакет COSSA-2025 со скидкой!

Cossa анонсирует главный рекламный формат на весь 2025 год: сразу 8 различных опций.

Пакет идеально подходит для онлайн-сервисов, стартапов, интернет-компаний и digital-агентств.

Успейте приобрести пакет до повышения цены!

Как избежать этой ошибки?

Тестируйте только одну гипотезу в каждом эксперименте. Это базисное правило A/B-тестирования, которое предполагает систематический подход. Сначала вы анализируете сайт с помощью сервисов веб-аналитик, анализа поведения пользователей, опросов. Затем составляете список гипотез, которые могут решить эти проблемы и улучшить производительность сайта. Дальше необходимо выстроить гипотезы по уровню приоритета. И только на этом этапе начинается процесс тестирования: выбирается самая приоритетная гипотеза, и запускается эксперимент. Также при A/B тестировании можно использовать систему HADI-циклов (Hypothesis, Action, Data, Insight).

2. A/B тестирование в два этапа

Это такой старинный и не совсем правильный способ A/B-тестирования. В данном случае берется одна версия страницы и ставится на сайт, например, на месяц. Проходит месяц, фиксируются основные показатели, и оригинальная страница меняется на тестовый вариант. Проходит еще один месяц. Показатели опять замеряются, и дальше происходит сравнение.

Проблема в том, что на ваш сайт в первом месяце могут приходить «готовые» лиды, а в следующем месяце — «холодные». Трафик может меняться в зависимости от сезонности, рекламной кампании, кризисных явлений, падения или укрепления рубля и многих других факторов. Даже если вы просто начнете во втором месяце активно вкладываться в контент-маркетинг, то к вам на сайт будут приходить не такие «горячие» лиды, как с платной рекламы. В итоге выводы будут недостоверны, т. к. собранные данные в принципе нельзя сравнивать.

Как избежать этой ошибки?

Использовать специальные сервисы или самописные скрипты, которые будут разделять весь трафик пополам. Тогда вы сможете провести эксперимент при практически одинаковых условиях. Для этого можно воспользоваться бесплатным сервисом от Google Analytics (вкладка «Поведение» > «Эксперименты») либо выбрать подходящий платный.

3. Заканчиваем эксперимент раньше времени, при первых результатах

Этим очень часто грешат те, кто хочет быстрых результатов от тестирования. Чаще всего это происходит так. Интернет-компания заказывает A/B-тестирование у внешнего консультанта. Он начинает анализировать сайт, находит проблему, запускает тест. Через 2 дня руководитель сайта смотрит на результаты и видит, что в тестовом варианте конверсия в два раза выше. В этот момент ему кажется, что все круто, пора останавливать. На сайт ставят тестовый вариант, и через две недели продажи падают в два раза. Все в панике. Никто не понимает, как это могло произойти. Сайт откатывают к предыдущей версии, и продажи снова идут вверх.

Почему так происходит? Посетители сайтов ведут себя неодинаково в разные дни недели. В понедельник они могут просто присматривать себе что-нибудь, а покупать только в пятницу вечером. Именно поэтому критически важно держать эксперимент не менее 7 дней, чтобы захватить каждый день недели. Это минимум, который нужно соблюдать в любом случае. Лучше же продолжать тест 2 недели и дольше, тогда результаты эксперимента будут более достоверными.

Некоторые советуют не останавливать эксперимент на протяжении времени, которое нужно пользователю для принятия решения (например, в бизнесах с большим средним чеком для принятия решения может понадобиться 1–2 недели).

4. Не обращаем внимание на статистическую достоверность

Особенно это актуально в тех случаях, когда эксперимент проводится вручную с помощью самописных скриптов, которые разделяют трафик 50/50. Потому что во все специальные сервисы встроены алгоритмы, которые высчитывают статистическую достоверность и не советуют завершать эксперимент до тех пор, пока она не достигнет минимум 95%. Если же статистическая достоверность ниже 95%, то велика вероятность погрешности и случайного результата.

Как избежать этой ошибки?

Держите эксперимент до тех пор, пока показатель не достигнет 95%, если проводите эксперимент через специальные сервисы. Если делаете тест самостоятельно, то воспользуйтесь калькуляторами статистической достоверности (например, этим), чтобы подсчитать минимальное количество участников и конверсий в эксперименте.

5. Отслеживаем только одну цель

Представьте, что ваша воронка продаж состоит из 5 этапов: первый этап — каталог продукции, второй — переход в карточку товара, третий — отправка товара в корзину, четвертый — начало оплаты товара, пятый — завершение оплаты.

Например, вы начинаете A/B тест в каталоге товаров: увеличиваете изображение товаров в надежде, что это повлияет на количество переходов в карточку товара (второй этап). После 2 недель вы видите, что переходы в карточку товаров увеличились. И вроде бы все круто, эксперимент оказался успешным. Но! Переходы в карточку товара — это не самое главное в вашем интернет-магазине: самое главное — это оплата. Поэтому нужно отслеживать влияние эксперимента на всех этапах воронки продаж.

Проблема в том, что изменение фотографии могло повлиять на количество кликов на нее. Стало больше эмоциональных действий. Но при этом меньше людей начало переходить на следующий этап воронки продаж — к оплате. А ведь гораздо важнее конверсия на последнем этапе, чем на первом.

6. Запускаем сразу несколько экспериментов

Хотя это может и не быть ошибкой, но все же в большинстве случаев запуск сразу нескольких экспериментов делается неправильно. Когда вы запускаете несколько экспериментов сразу, то посетители сайта могут стать участниками сразу всех тестов. Т. е. на главной странице они попадут на оригинальный вариант, на следующей странице — на тестовый, а потом опять на оригинальный. В итоге получается полная путаница, и сделать достоверный вывод из таких экспериментов очень сложно.

Как избежать этой ошибки?

Если вы хотите запустить несколько параллельных тестов, то делайте это правильно, чтобы аудитория не пересекалась. Например, если на сайте несколько посадочных страниц, вы на них гоните трафик и точно знаете, что люди, попадающие на первую страницу, никак не попадут на вторую, то все окей. Если же вы не уверены, что аудитория не будет пересекаться, то лучше делайте это последовательно. Сначала один эксперимент в течение 7–14 дней, потом второй и так далее.

7. Запускаем A/B-тест без анализа сайта и поведения посетителей

Этим грешат многие интернет-маркетологи, потому что веб-аналитика, анализ поведения пользователей, общение с целевой аудиторией требуют очень много времени и сил. Когда эксперты по A/B-тестированию запускают эксперименты, они больше всего времени тратят на анализ сайта и целевой аудитории и меньше всего — на запуск эксперимента. Потому что запустить его можно даже за 5 минут.

Процесс запуска эксперимента — это самая простая задача в процессе A/B-тестирования и увеличения конверсии. Другое дело — проанализировать сайт, найти проблемы и, исходя из этого, сформировать гипотезу для эксперимента.

Как избежать этой ошибки?

Никогда не спешите и не ленитесь погружаться в процесс веб-аналитики и анализа посетителей. Да, это сложно. Да, это долго. Да, это порой не совсем понятно. Но если вы разберетесь в этом, то будете довольны собой. Умения использовать различные инструменты для увеличения конверсии никогда не окажутся лишними в процессе улучшения сайта.

8. Просто копируем чужие эксперименты

Еще один простой путь в A/B тестировании, не требующий никаких затрат, разве что придется найти парочку хороших кейсов и скопировать их. Но у каждого сайта свои особенности, своя целевая аудитория, свой опыт взаимодействия с целевой аудиторией. Если у кого-то определенная гипотеза оказалась успешной, то это абсолютно не значит, что то же самое сработает и у вас.

Тестирование чужих кейсов — это еще не самое ужасное. Гораздо хуже, если вы просто берете идеи с чужого сайта и реализуете их у себя. При тестировании вы хотя бы получите результаты и сможете выбрать более эффективный вариант.

Был один интересный кейс, когда в интернет-магазине проводили эксперимент. В это время конкуренты увидели тестовый вариант, подумали, что он эффективно работает (он ведь стоит на сайте), и реализовали у себя. После нескольких недель A/B-тест завершился, тестовый вариант проиграл, и интернет-магазин оставил оригинальную версию сайта. При этом у конкурента этот менее эффективный вариант уже был внедрен на сайт без всяких A/B тестов.

Как избежать этой ошибки?

Не поддавайтесь на соблазны копирования чужих идей. Старайтесь генерировать идеи для A/B-тестирования самостоятельно на основе аналитических данных.

Кстати, я не призываю вас избегать чужих кейсов! Я советую изучать их, анализировать результаты, брать что-то на заметку. Это всегда полезно. Но слепо копировать чужие успешные примеры не стоит.

9. Тестируем элементы, которые не влияют на принятие решений

Если мы будем изменять элементы, которые никак не влияют на действия пользователей, то каков будет результат? Все будет так же, как и обычно. Если вы поменяли текст, который почти никто никогда не читает, то ничего не изменится.

Именно поэтому я советую тестировать следующие элементы:

Кнопки призыва к действию (СТА-кнопки);
Формы (регистрации, покупки, скачивания, подписки);
Заголовки, подзаголовки на посадочных страницах;
Тексты, которые описывают ваши уникальные характеристики и выгоды для потенциального клиента;
Визуальные элементы (видео, аудио, изображения);
Информацию на страницах с ценами, сами цены.

Изменяя эти элементы, вы можете влиять на действия посетителей сайта. Более подробно про идеи для A/B-тестирования, которые оказывают прямое влияние на конверсию, можно почитать здесь.

10. Проводим эксперименты на сайтах с очень маленьким трафиком и количеством конверсий

Провести A/B-тест на сайте, где в день совершается 5 или даже 10 конверсий, будет очень сложно: статистических данных не хватит, чтобы сделать достоверные выводы. Чем меньше выборка эксперимента, тем выше вероятность погрешности. Поэтому запуск A/B-экспериментов на сайтах с маленьким трафиком и количеством конверсий в принципе является бессмысленным. Чтобы такой тест состоялся, его придется держать очень долго — 1–2 месяца. При этом может произойти столько изменений в самом бизнесе, в работе с клиентами и привлекаемом трафике, что результаты будут абсолютно недостоверные.

Как избежать этой ошибки?

Во-первых, не стоит в таком случае вообще надеяться на A/B-тесты. Во-вторых, нужно делать упор на другие инструменты, которые позволяют найти слабые места на сайте. К таким инструментам относятся:

Опросы (общаясь со своей целевой аудитории до и после покупки, вы можете узнать, почему они выбрали именно вас, что им мешало на сайте, чего не хватало и многое другое);