А/B тестирование: 11 мифов

Но что, если вам скажут, что именно три последних действия могут совершенно изменить то, как вы работаете со всем остальным, помочь вам принимать надежные решения, основанные на данных, и генерировать больше лидов для своего бизнеса?

A/B или сплит-тестирование — один из методов, который позволит вам этого добиться. Чтобы провести A/B тест, маркетологи разрабатывают две версии одного и того же типа контента (landing page, письма электронной почты, призывы к действию) и тестируют их на двух примерно одинаковых по численности группах людей. Чтобы узнать, кто «победитель», маркетологи определяют статистическую значимость теста и уровень доверия к результатам (95% и выше). Использование сплит-тестирования поможет вам оптимизировать активы для роста лидов и их конвертации в клиентов.

Эффективная и выгодная реклама с сервисом от МегаФона

Широкий выбор рекламных каналов, более 100 параметров по интересам, подробная аналитика и другие возможности уже ждут в Личном кабинете. А еще кешбэк 100% за запуск рекламы в первый месяц и еще 10% — каждый месяц.

Узнать больше >>

Реклама. ПАО «МегаФон». ИНН 7812014560. ОГРН 1027809169585. ERID LjN8K1P7y.

Мало кто понимает, какой эффект может дать A/B тестирование. Существует множество мифов, которые прочно засели в головах маркетологов и лишают их желания прибегать к этому методу и, как следствие, принимать точные, подкрепленные данными, решения.

Миф #1: A/B тесты не могут сравниться с интуицией маркетолога

Даже самые опытные и талантливые специалисты не застрахованы от ошибок. После многих лет работы многие из нас вполне представляют, что нужно сделать для конвертации посетителей в лиды и лидов в клиентов — но не стоит при принятии решений полагаться исключительно на инстинкты.

Сплит-тестирование позволит вам использовать данные для того, чтобы получить больше трафика на свой сайт и увеличить показатели конверсии. По данным HubSpot, полученным в ходе экспериментов, применение A/B тестирования позволяет сгенерировать на 30–40% больше лидов в случае B2B сайтов, и на 20–25% больше для сайтов электронной коммерции.

Мораль такова: если вы полагаетесь только на МСВР (мнение самого высокооплачиваемого работника) в комнате, то вы упускаете возможность увеличения прибыли.

Миф #2: В любой непонятной ситуации нужно использовать A/B тестирование

Даже при том, что сплит-тестирование может помочь при принятии многих маркетинговых решений, не стоит тестировать абсолютно любое свое решение, т. к. некоторые изменения просто не тянут на то, чтобы их тестировали.

Например, вам не нужно A/B тестирование для проверки CTR двух заголовков подобных этим: «Pinterest: руководство маркетолога» и «Pinterest: руководство для маркетолога». Хотя сплит-тесты хорошо работают для небольших изменений типа изменения цвета призывающих к действию баннеров и кнопок, тестирование влияние наличия или отсутствия предлога или артикля ничего вам не даст. Однако если вы хотите протестировать заголовки с разным порядков слов, то вот тут уже A/B тест вполне применим.

Миф #3: Эффективность A/B тестов ниже, чем у многовариантного тестирования

A/B и мультивариантное тестирование (MVT) — это отличные способы использования данных для улучшения качества своих маркетинговых решений, однако используются они для совершенно разных задач. A/B тестирование используется для проверки одного элемента в двух или более отличных друг от друга случаях. MVT же используется для тестирования эффективности множественных комбинаций элементов в разных случаях.

Например, A/B тест мог бы быть использован для тестирования эффективности разных цветов баннеров/кнопок с призывами к действию, при том, что все остальные элементы на странице остаются неизменными (источники трафика, типы посетителей, фон форм и даже изображения и текст на странице). Вы пытаетесь ответить на один прямой вопрос: как цвета баннеров и кнопок с призывом к действию влияют на конверсию? Вы не пытаетесь узнать, как комбинации элементов влияют на конверсии (комбинация цветов баннеров, число полей в форме, типы изображений и т. п.)

Так что нет более эффективного теста, это просто разные типы тестов для разных задач.

Миф #4: Если конкретный случай сработал для одного маркетолога, это будет работать для всех

Несмотря на существование кучи case studies по A/B тестированию, демонстрирующих успешное влияние на конверсию конкретных шаблонов, дизайнов и форматов текстов, вы не должны слепо копировать истории успеха других маркетологов без надлежащего тестирования. Каждая тестируемая ситуация отлична от других. У сайтов различный трафик, разные аудитории, продукты, маркетинговые воронки и акции, в результате то, что сработало для одних, совсем не обязательно поможет другим.

Получается, что выдергивание страницы из чужого маркетингового плана может стать настоящим «поворотом не туда» для ваших маркетинговых активностей. К примеру, если вы хотите улучшить CTR своих e-mail-писем, то, возможно, посчитаете нужным использовать персонализированное имя отправителя письма. В 2011 году HobSpot проводил тест, чтобы увидеть, влияет ли на CTR положительно использование для рассылок персонального адреса, а не корпоративного. В ходе теста выяснилось, что «обобщенная подпись» (от «Hubspot») имела показатель CTR 0,73%, в то время как «персонализированное» имя отправителя (от «Maggie Georgieva, HubSpot») показала величину CTR равную 0,96% — так что персонализированный адрес рассылки был явным победителем с уровнем доверия к этим результатам равным 99,9%.

Этот тест сработал на нашей аудитории и, возможно, сработает для вас. А может, и нет. Попробуйте провести A/B тест, чтобы понять лучшие маркетинговые тактики, которые работают именно на вашей аудитории.

Миф #5: Чтобы использовать A/B тестирование нужно быть технически подкованным маркетологом и обладать большим бюджетом

A/B тестирование не является дорогим удовольствием. Если ваш бюджет примерно равен нулю, то можно использовать бесплатные средства сплит-тестирования типа Content Experiments в Google Analytics. Хотя это средство, хоть и бесплатно, но потребует некоторых технических навыков, чтобы правильно им воспользоваться.

Платные системы, хотя и требуют некоторых предварительных финансовых трат, гораздо проще в использовании, так что за счет скорости и удобства работы с ними общие затраты могут быть снижены благодаря общей эффективности проводимых тестов.

Помимо вопросов технологичности и цены, для того, чтобы правильно провести сплит-тест, вам также придется соприкоснуться с математикой. Все успешные тесты должны быть статистически значимыми, соответственно, вам нужно будет знать, что это значит и как это использовать для интерпретирования результатов. Определить статистическую значимость можно с помощью как ручки и бумаги, так и программных средств (напр. бесплатный калькулятор A/B тестов от HuBSpot).

В итоге вам необходимо обладать определенным уровнем технологических и математических знаний, которые зависят от доступных ресурсов, однако, особенно если вы не боитесь технологий и цифр, бюджет не должен стать серьезным препятствием к проведению A/B тестирования.

Миф #6: A/B тестирование нужно только сайтам с огромным трафиком

Благодаря тому, что в ходе A/B тестирования вам нужно рассмотреть лишь два возможных варианта событий, куча посетителей для проверки результатов не понадобится. Нужно лишь добиться статистической значимости результатов (т. е. доверия к ним хотя бы на уровне 95%). Конечно, большее количество пользователей может дать вам более точное представление о том, что работает, а что нет, однако не существует абсолютного порогового значения количества посетителей, которых достаточно для проведения сплит-теста. Все, что необходимо, это иметь достаточное количество людей для обеспечения статистической значимости теста.

Существует небольшое количество бесплатных средств для определения того, сколько же вам понадобится посетителей, без необходимости получения ученой степени в статистике.

Миф #7: A/B тесты негативно влияют на SEO

Вопрос о том, влияет ли сплит-тестирование на поисковую оптимизацию, является одним из наиболее часто задаваемых. Люди думают, что если вы тестируете несколько версий одного и того же контента, то сайт может попасть под определение «дуплицированного контента» алгоритма Google и быть оштрафованным посредством понижения места в выдаче.

Этот миф целиком и полностью ложь, на самом деле Google даже поощряет и предоставляет руководства по тому, как следует тестировать контент для получения для своего сайта большего количества посетителей и конверсий, без всяких санкций за дублированный контент со стороны поисковой системы.

Миф #8: Если вам нравятся первые результаты теста, то проводить оставшуюся часть эксперимента не нужно

Самое важное при проведение A/B тестов — это всегда дожидаться того момента, когда их результаты можно будет назвать статистически значимыми. Например, нужно дожидаться статистически значимого количества посетителей на сайте, определения временного промежутка для проведения теста, основанного на доверительном интервале (confidence interval). Даже если вам кажется, что один из вариантов, проверяемых в ходе эксперимента, явно выигрывает, без соблюдения нужного промежутка времени или размера выборки эти результаты нельзя назвать статистически значимыми, и тестирование нужно продолжать.

Если же вы завершите тест до того момента, как он сможет показать точные данные, дело может кончиться тем, что вы будете принимать неправильные решения для реализации в своей маркетинговой стратегии, которые потенциально могут привести к финансовым потерям. С помощью калькулятора длительности теста Wingify вы можете определить время, необходимое для проведения теста.

Миф #9: Выигрышные варианты всегда хорошо выглядят

Одной из причин использования A/B тестов является то, что они дают верные данные для принятия маркетинговых решений. Данные, а не субъективные мнения. Раз за разом A/B тесты доказали, что landing pages, сообщения электронной почты, призывы к действию не обязательно красиво выглядят… просто одни варианты работают лучше других. Даже если результат теста не выглядит красиво, он, тем не менее, может приводить к большему количеству конверсий, чем «красивые» варианты. Не полагайтесь на свое восприятие дизайна — используйте в своей маркетинговой стратегии результаты сплит-тестирования.

Миф #10: Вы измеряете только конверсию

Результаты A/B тестов не должны ограничиваться одной метрикой — вам следует изучать результаты, показываемые по нескольким метрикам. В противном случае вы рискуете пропустить важные инсайты.

К примеру, если вы использовали A/B тест для того чтобы посмотреть на то, как цвет баннеров с призывами к действию в блоге компании повлиял на конверсии, вы не стали бы обращать внимание только на количество новых подписчиков блога, которые появились после теста. Вы наверняка захотите узнать, как много посетителей конвертировалось в лиды и, далее, в клиентов. Кроме того, может быть и такое, что цвет, при котором на блог подписалось наибольшее количество людей, показал плохие результаты в плане лидов. Конечно, такой результат может быть приемлем, в случае если вам нужно как раз увеличить количество подписчиков даже при удорожании лидов. А если же ваша цель не подписчики, а стоимость лида, то, скорее всего, вы в панике начнете менять цвет обратно.

Таким образом, становится ясна важность анализа более чем одной метрики при рассмотрении результатов теста.

Миф #11: После завершения A/B теста наступает рай

Итак, вы провели A/B тест на подходящей выборке, выждали нужное количество времени, один из тестируемых вариантов победил. Однако работа еще не окончена. Вне зависимости от того, получили вы отличные результаты или нет, необходимо продолжать тестирование и оптимизацию вашего контента для улучшения показателей по конверсиям и лидам. Другими словами, A/B тестирование не должно быть одноразовым экспериментом, используйте его, чтобы постоянно улучшать свою маркетинговую стратегию.

Например, представим, что вы использовали A/B тест и узнали, что красная кнопка с призывом к действию по сравнению с зеленой показала лучшие результаты по конверсии. Теперь, обладая этим знанием, стоит протестировать различные варианты текста на этой красной кнопке, ведь разные варианты будут давать разные показатели конверсии. Использование сплит-тестирования позволит вам без больших затрат и на основе реальных данных улучшить качество своих маркетинговых решений.

Источник: HubSpot