10 самых распространенных ошибок в A/B тестировании

 Вы прекрасно понимаете, что оптимизация конверсии – один из самых необходимых процессов в работе любого интернет-проекта, будь то интернет-магазин или SaaS проект.

Ведь сложно вот так сходу сказать, что ещё может увеличить доход с имеющегося трафика в два раза, например. Не правда ли? Более того, невозможно представить ни один бизнес в интернете, который не хотел бы удвоить свою прибыль без дополнительных затрат на привлечение посетителей.

Именно поэтому, оптимизация конверсии постепенно становится трендом будущего десятилетия. И стоит вам только один раз попробовать это – вы не сможете остановиться. Но этот процесс имеет множество подводных камней, которые не заметны сразу. Цель этой статьи – рассказать об этих подводных камнях и научить вас избегать их. Итак, поехали.

Эффективная и выгодная реклама с сервисом от МегаФона

Широкий выбор рекламных каналов, более 100 параметров по интересам, подробная аналитика и другие возможности уже ждут в Личном кабинете. А еще кешбэк 100% за запуск рекламы в первый месяц и еще 10% — каждый месяц.

Узнать больше >>

Реклама. ПАО «МегаФон». ИНН 7812014560. ОГРН 1027809169585. ERID LjN8K1P7y.

Ожидание того, что A/B тестирование сайта решит все проблемы

Как бы это грустно не звучало, но оптимизация конверсии не может решить все проблемы вашего бизнеса. Очень часто проблемы находятся гораздо глубже. И в таком случае оптимизация не может помочь.

Такую ситуацию проще всего рассмотреть на примере. Допустим, вы создаете какой-нибудь сервис для интернет-магазинов. Вы уверены, что это будет «бомба». Продукт создан, вы выпускаете его на рынок и ждете поток клиентов. Проходит пару месяцев, а ожидаемого потока клиентов до сих пор нет. В такой момент возникает идея попробовать оптимизацию конверсии. Вдруг поможет…
Вы начинаете изучать эту тему сами или привлекаете эксперта. Формируете гипотезы, создаёте первые A/B тесты. До сих пор вы точно уверены, что эта «волшебная таблетка» спасёт вас.
В редких случаях это спасает. Но чаще всего результат абсолютно другой. И проблема заключается совсем не в том, что у вас всё плохо с оптимизацией. Проблема лежит совсем в другой плоскости – люди просто не заинтересованы в вашем продукте.
Если нет спроса на сервис, то нужно задумываться не об A/B тестировании, а о полном изменении самого бизнеса. Возможно, вам нужно создавать новый сервис с другим функционалом или изменить текущий продукт так, чтобы он удовлетворял потребностям потенциальных клиентов.

Как же узнать, в какой ситуации находитесь вы?

Вы должны понять, почему люди подписываются (или наоборот – не подписываются) на ваш сервис. Например, если вы продаёте его лично, лицом к лицу, покупают ли сервис потенциальные клиенты? Если да, то всё-таки спрос есть. И это хороший знак. Как правило, если вы лично можете продать сервис, то можно найти путь, как это сделать и в онлайне.

Но есть ещё один интересный подход, который предлагает использовать первый маркетолог DropBox. Он считает, что если более 40 % всех действующих клиентов будут разочарованы, когда вы закроете свой проект, то, значит, у вас есть шансы на успех. Стоит сказать, что эта цифра в 40 % основывается только на личном опыте и собственных наблюдениях. А узнать об этом можно совсем несложно: достаточно запустить опрос своих клиентов и узнать, насколько им нужен ваш продукт.

Таким образом, вы можете понять, насколько сильно нуждаетесь в оптимизации конверсии. Если ваш сервис подходит рынку и имеет спрос, то оптимизация конверсии может помочь. Если же ситуация иная, то лучше будет изменить ваш продукт или выбрать другую бизнес-модель и не заморачиваться раньше времени по поводу оптимизации.

Проведение A/B тестирования в два этапа

Совершенно глупая ошибка, которую совершают те, кто не желает использовать специальные сервисы для тестирования. В данном случае вместо одновременного тестирования нескольких версий сайта, происходит поочерёдное измерение конверсии на одном варианте и на другом. Таким образом, A/B тестирование занимает больше времени. Но, кроме этого, тестирование различных версий происходит в разное время, что так же может сказаться на достоверности результата.

Совершенно очевидно, что показатели конверсии могут колебаться изо дня в день, из недели в неделю. И именно из-за такой погрешности вся ваша работа по оптимизации конверсии может провалиться. Конверсия может зависеть от настроения посетителей, от времени года, экономической ситуации, качества трафика и ещё многих причин. Так что не стоит создавать себе проблемы на пустом месте.

Например, после публикации новости о вас в каком-нибудь крутом интернет-издании вы получаете огромное количество трафика на ваш сайт. Но качество этого трафика существенно отличается от тех, кто приходит к вам через рекламу в Google или через баннер на сайте вашего друга. Таким образом, в течение этой недели конверсия может повыситься в два раза. А на следующей неделе вы начнёте тестировать новую версию страницу, конверсия сильно упадёт и вы будете считать, что первый вариант ну точно идеальный. А на самом деле ваше тестирование является абсолютно недостоверным.

Единственный способ избежать этой ошибки – использовать специальные сервисы, при которых тестирование происходит в течение одного промежутка времени, а весь трафик разделяется 50/50. В таком случае результаты будут статистически достоверными, и у вас просто не получится совершить такую глупую ошибку!

Преждевременное завершение теста

В инструкции по оптимизации конверсии мы уже упоминали об этом. Но эта ошибка часто встречается в практике оптимизаторов. Поэтому прислушайтесь к следующим советам:

• тестирование нужно проводить минимум в течение 7 дней. Так как конверсия во вторник может отличаться от конверсии в воскресенье, так что это необходимо для достоверности результатов.
• статистическая достоверность результатов должна быть не менее 95 %. Для её расчёта можно использовать специальные формулы, но проще воспользоваться сервисами для A/B тестирования, где этот показатель считается автоматически. В сервисеChangeagain.me, который использует Google Experiment API, остановка эксперимента происходит автоматически, когда результат является полностью достоверным.
• количество конверсий в течение эксперимента должно быть не менее 100.

Несмотря на то, что все понимают важность соблюдения всех этих правил, на практике всё происходит иначе.

Например, на вашем сайте имеется большой трафик. Вы формируете гипотезу для тестирования и начинаете эксперимент. После двух дней видно, что у одного из вариантов конверсия выше с 97 % достоверностью. Вы смотрите на эти критерии, видите, что достоверность выше, количество конверсий больше 100 и решаете, что можно прекращать тестирование. Ведь впереди вас ждут новые гипотезы и тесты, так почему бы не пойти дальше?

В этом и состоит ошибка. Несмотря на то, что статистическая достоверность больше 95 % и количество конверсий не меньше нормы, нельзя быть полностью уверенным в таком результате. Такого короткого срока недостаточно для получения достоверных результатов. Никому не известно, что будет через пару дней. Поэтому лучше набраться терпения и подождать, чтобы потом не тратить время на повторное тестирование.

Есть один очень хороший пример, который описал Пип Лайа – эксперт в области A/B тестирования, публикующий свои статьи на сайте ConversionXL. У него был случай, когда через два дня после начала эксперимента результаты показывали, что изменённый вариант страницы снижает конверсию на 90 %. В этот момент его клиент был полностью уверен в том, что нужно прекращать тестирование. Однако Пип принял другое решение и продолжил эксперимент.
Через 10 дней после начала тестирования результаты показали, что новый вариант страницы имеет конверсию на 25 % лучше с 95 % вероятностью. Мораль примера такова: несколько дней – недостаточный срок для определения лучшего варианта.

Надежда только на чужой опыт

Сложно побороть этот соблазн. После того, как вы прочитали десятки успешных кейсов, так и хочется просто взять и применить их опыт на своём сайте. Но это не гарантирует вам успех. В большинстве случаев всё индивидуально и просто копирование не помогает решить реальные проблемы.

Всем известен распространенный пример, когда изменение цвета кнопки призыва к действию (CTA button) с зелёного на красный повысило конверсию на 20 %. Какая мысль возникает после прочтения подобных примеров? Конечно нужно попробовать сделать это на своём сайте. Ведь это так просто. Нужно только изменить один параметр и конверсия возрастёт. Вы меняете цвет кнопки с зелёного на красный, ждёте положительных результатов, но всё оказывается наоборот. Как так может быть?

Проблема в том, что существуют различные факторы, которые влияют на это. Например, красный цвет может лучше сочетаться со всем дизайном сайта и лучше всего привлекать внимание посетителя. В одном случае это так. Но в другом случае красный может абсолютно не вписываться в дизайн сайта и будет только «резать глаза» всем пользователям.
Именно поэтому слепое следование чужим примерам редко приводит к больших успехам. Все формируемые гипотезы должны основываться конкретно на вашем сайте. Более подробно о влиянии цветов на показатель конверсии можно узнать здесь.

Кстати, следование чужим примерам имеет ещё одну проблему. Ведь вы никогда не знаете, насколько правильно проводился эксперимент и насколько этот результат является статистически достоверным. Может быть эксперимент в этом примере проводился всего 2 дня и его достоверность гораздо ниже 95 %. Так что это ещё одна причина, почему не стоит сильно полагаться на чужой опыт.

Чужой опыт нужно исследовать. Это как с мнением других людей. Вы можете не принимать чужое мнение, внутри себя спорить с ним, но гораздо лучше выслушать его, проанализировать, и извлечь максимум пользы из него. Так что изучать чужие кейсы можно и нужно, но делать это надо с умом!

Ожидание больших результатов от маленьких изменений

Надеяться на то, что изменение текста в заголовке или названия кнопки призыва к действию может привести к невероятным успехам – огромная ошибка. Конечно, всё это нужно тестировать. Ваш заголовок должен быть привлекательным и интригующим. Кнопки призыва к действию должны реально побуждать посетителя кликнуть по ним. Такие незначительные изменения имеют место быть в A/B тестировании. Но на них нельзя возлагать больших надежд.

Гораздо эффективнее тестировать более радикальные изменения на вашем сайте. Хорошо начинать с чего-то радикального, и если наблюдается существенное улучшение конверсии – брать это за основу. А потому уже с помощью мелких деталей, таких как тексты, изображения, призывы к действию, пытаться ещё больше увеличить показатель конверсию.

В качестве примера можно привести эксперимент, который проводила компания Crazy Egg. Изначально их посадочная страница была короткой и они сформировали гипотезу, что длинный лендинг будет продавать лучше. После проведения A/B тестирования, их предположения подтвердились. Тогда длинный лендинг был взят за новую основу и уже над ними продолжились мелкие изменения.

И не подумайте, что мы категорически против проведения мелких тестов. Нет, они определенно нужны, особенно если вы новичок в оптимизации конверсии. Но если вы уже немного попрактиковались, и у вас есть хорошие идеи для более серьёзных экспериментов, то смело приступайте к этому. Потому что проведение экспериментов со значительными изменениями могут привести к сильным изменениям в конверсии. А это стоит того. Определенно.

Первый шаг в A/B тестировании – придумать эксперимент

В нашей инструкции по оптимизации конверсии мы уже немного освещали эту тему. Проведение A/B тестирования нельзя начинать с «тупого» придумывания экспериментов. Первое, с чего начинается A/B тестирование – сбор информации. Сбор данных представляет собой работу с аналитикой, определение ключевых метрик и слабых мест вашего сайта.

Кроме этого, вы должны чётко знать, что хотят ваши потенциальные клиенты, что они думают о вашем продукте и какие проблемы испытывают при желании купить его. Причём эту информацию нужно доставать не из своей головы. Так как это будут только предположения и интуиция. Эту информацию нужно достать из первых уст. Об этом вам должен рассказать клиент. А получить её можно с помощью пользовательских опросов, размещённых на ключевых этапах воронки продаж.

Несколько хороших вопросов, которые можно задать вашим посетителям:
• Чего не хватает на этой странице?
• Что мешает вам совершить покупку?
• Что могло бы убедить вас сделать покупку прямо сейчас?

Ответы на эти вопросы могут дать вам больше информации о ваших клиентах и узнать, что мешает им при желании совершить покупку.

После того, как вы получаете подобную информацию, анализируете её и придумываете идеи, можно смело начинать тестирование. В таком случае вы не станете жертвой этой ошибки.

Одновременный запуск большого количества экспериментов

Эту ошибку чаще всего совершают те, у кого большой трафик на сайт и кто постоянно спешит во всех делах. Соблазн одновременного проведения 10 тестов бывает настолько велик, что побороть его очень сложно. Но мы не рекомендуем так поступать.

Проблема заключается в том, что A/B тестирование представляет собой не только процесс запуск теста. До запуска происходит сбор и анализ данных, а после уже идёт оценка результатов и выработка дальнейшей стратегии. Поэтому нежелательно иметь сразу множество тестов, когда ни одному из них вы не сможете уделить должного внимания.

Помимо этого, существует ещё одна проблема. Чащ всего вы надеетесь, что каждый эксперимент принесёт хороший результат. Однако реальность бывает более жестокой. Каждый тест может привести к снижению конверсии, в результате чего, 10 одновременных тестов на каждом этапе воронки продаж могут очень сильно повлиять на ваш доход. Таким образом, очень высок риск серьёзных финансовых потерь для бизнеса.

Гораздо эффективнее подходить к процессу оптимизацию более серьёзно. Лучше потратить больше времени на работу с исходной информацией, на формирование гипотез и анализ результатов. В таком случае каждый новый тест основывается уже на опыте, полученном из предыдущих экспериментов. Благодаря этому вероятность успеха ваших действий значительно увеличивается.

Тестирование сразу нескольких разных элементов.

Многие оптимизаторы грешат тем, что в одном эксперименте изменяют совершенно разные элементы, которые могут повлиять на конверсию. А после такого тестирования потом не могут понять, что же именно повлияло на конверсию.
Например, вы можете изменить заголовок, цвет и название кнопки призыва к действию, добавить отзывы ваших счастливых покупателей. И всё это в одном эксперименте. Через неделю вы видите результат, и он положительный. Но ведь может быть так, что увеличение конверсии произошло только из-за добавления отзывов. В то время, как заголовок оказался гораздо хуже предыдущего. Но, так как первое перевесило второе, то конверсия всё-таки увеличилась. Хотя, если бы эти тесты были проведены отдельно, то вы бы сразу заметили, что такой заголовок не годится и только снижает вашу конверсию.

Таким образом, с одной стороны, иногда нужно проводить тестирование с очень радикальными изменениями, но, с другой стороны, нужно быть осторожным и не злоупотреблять этим слишком часто. Потому что потом невозможно будет понять, что всё-таки повлияло на повышение конверсии.

Гипотезы с радикальными изменениями помогают проверить совершенно новый подход к продаже вашего продукта. Но таких гипотез в вашей практике не должно быть много. После того, как вы определяете вариант страницы, которая хорошая конвертирует посетителей. Тогда уже начинается постоянная работа над проведением небольших тестов с изменением определенных элементов.

Измерение микроконверсий

В данном случае вы измеряете не конечную цель (например – продажу товара), а количество конверсий на любом, но не завершающем этапе вашей воронки продаж.

Например, вы измеряете количество посетителей, которые кликнули на ссылку, ведущую к описанию вашего продукта. Конечно, это круто, если больше людей стали переходить на эту страницу. Но что толку, если они только переходят туда, но ничего не покупают?

Именно поэтому важно измерять не только эти микроконверсии, но изменение конверсии главного целевого действия на вашем сайте. Проблема в том, что вы никогда не знаете, как изменение микроконверсии повлияет на конечный результат. Возможно, создание более привлекательного заголовка на посадочной странице стимулирует людей больше переходить на описание продукта. Но если там они оказываются разочарованы в товаре и начинают меньше покупать, чем раньше. То такое A/B тестирование нельзя считать успешным.

Как бы то ни было, улучшение микроконверсии тоже важно. В любом случае, это позволяет увеличить количество людей, которые попадают в вашу воронку продаж. И в свою очередь при правильном построении воронки продаж на последующий этап также может перейти больше человек. Но основная мысль заключается в том, что нельзя полностью полагаться на эти цифры. Всегда нужно измерять показатель конверсии конечной цели, чтобы чётко понимать эффективность своих действий. Всё-таки конечная цель – имеет наибольшее значение для бизнеса.

Изменение каких-либо элементов на сайте без предварительного тестирования

Эту ошибку можно было поставить первой. Так как она может стоить слишком дорого для вашего бизнеса. Очень часто кажется, что то или иное изменение никак не повлияет на конверсию. И тогда вы просто берёте и меняете весь дизайн стартовой страницы вашего сайта. Даже не предполагая, как это может изменить уровень конверсии.

Либо ещё более распространенный пример – когда кто-то из вышестоящих работников пытается навязать свою субъективную точку зрению. Например, любит он красный цвет на сайтах и всё. Он любит, значит и остальные будут любить. Не каждый сможет с ним поспорить и доказать, что красный цвет не подходит под весь дизайн сайта. Вы подстроитесь под его предпочтения, а конверсия сразу же просядет. Кому от этого плохо? Всем. В особенности инициатору этих изменений.

Именно поэтому, прежде чем вносить какие-либо изменения, нужно протестировать их. A/B тестирование – лучшее, что было придумано для таких ситуаций. Вы создаёте эксперимент, собираете точные статистические данные, приносите отчёт своему начальнику и чётко по пунктам объясните, почему его идея ну нихрена не подходит для вашего бизнеса. Вот это современный подход к оптимизации!

Все изменения должны проводиться только через A/B тестирование. Тогда всё будет под контролем!