Как эволюция пользовательского мышления переписала результаты одного А/Б-теста
Аналитик Rookee Екатерина Хиндикайнен о необычных выводах из вполне обычного сплит-тестирования.
Проверка гипотез с использованием А/Б-тестов уже давно стала неотъемлемой частью работ по расширению конверсионной воронки в узких местах. В этой статье мы хотим рассказать о личном опыте тестирования одной и той же гипотезы три года назад и сейчас в сервисе.
Но сперва разберёмся в терминах, которыми оперируем в статье.
Конверсионная воронка — это последовательность совершённых на сайте пользовательских действий, ведущих к конечной цели. Например: Трафик → Регистрации → Оплаты. Детализация воронки индивидуальна и зависит от особенностей ресурса и рычагов влияния на конечную цель.
Идет регистрация агентств-участников в рейтинги RUWARD 2024!
До 8 декабря идет этап регистрации диджитал-агентств/продакшенов в серии из 46 рейтингов узких диджитал-специализаций Руварда. Поторопитесь! =)
А/Б-тесты (A/B-, сплит-тесты) — мощный маркетинговый инструмент для повышения эффективности ресурса и расширения конверсионной воронки в узких местах. Суть тестирования заключается в сравнении контрольной и тестовой группы элементов: А-группа без изменений (контрольная), Б-группа с изменениями (тестовая).
Гипотеза для теста — предположение по изменению функций ресурса, которое, как предполагается изначально, благоприятно повлияет на целевые показатели (например, на конверсию в определённом участке воронки).
История одной гипотезы
В 2015 году наши специалисты проводили анализ конверсионной воронки. По результатам этого анализа приняли решение прорабатывать воронку сверху. В нашем случае «верхом» воронки, как и для большинства других ресурсов, является регистрация.
«При стабильном проценте конверсии оплат в абсолюте станет больше», — скажете вы. — «Поэтому нужно просто увеличить число зарегистрированных пользователей».
В большинстве случаев вы будете правы, но не всегда.
Есть группа людей, которая доходит до покупки самостоятельно (назовём её «интерфейсные активаты»). Но есть и значительное число пользователей, которым необходимо помочь определиться с выбором и принять решение о покупке. С ними нужно разговаривать, им нужно звонить по телефону и отвечать на их вопросы (назовём эту группу людей «активаты голосом»).
Кроме того, с точки зрения психологии покупателя, голосовое общение с зарегистрированными пользователями благоприятнее влияет на средний чек, а также на срок жизни клиента.
«Значит, нужно организовать работу таким образом, чтобы всех зарегистрировавшихся пользователей обзванивали».
Всё так, только одно но — для совершения звонка нужно запрашивать номер мобильного телефона при регистрации. Как показывает практика, чем больше полей у формы регистрации, тем ниже вероятность того, что посетитель дойдёт до конца.
Здесь мы, наконец, добрались до сути нашей гипотезы: обязательное указание мобильного телефона при регистрации не ухудшит конверсию из посетителей в зарегистрированных пользователей. При этом номер телефона для каждого пользователя позволит увеличить конверсию в оплаты за счёт прозвона.
Обратите внимание: гипотеза в итоге получилась не про расширение воронки по числу зарегистрировавшихся пользователей. Нас устраивало сохранение текущего процента конверсии из посетителей в регистрации. Указание номера телефона при регистрации способствовало бы увеличению «активатов голосом» — и в итоге привело бы к росту финансовых показателей в долгосрочной перспективе.
Результаты тестов в 2015 и 2018 годах
Как вы, вероятно, уже догадались, в 2015 году гипотеза провалилась. Конверсия из трафика в регистрации ухудшилась — и это с учётом сезонности! Замотивированные пользователи всё же регистрировались, но в сухом остатке было много фейковых номеров.
Подтверждение номера телефона мы запланировали на следующий этап развития гипотезы (если бы она сработала). Но следующего этапа не было — пришлось откатывать изменения и проверять другие гипотезы.
Прошло три года.
Мы решили снова проверить гипотезу на практике и в июне провели повторный тест.
По результатам конверсия из посетителей в регистрации осталась на прежнем уровне, но количество фейковых номеров резко сократилось. Сейчас их число составляет менее 5% от всех регистраций. И мы убеждены, что причиной этому послужила эволюция пользовательских привычек.
Психология пользователей изменилась: многие массовые сервисы и ресурсы в обязательном порядке просят указать номер телефона при регистрации. Люди привыкли получать подтверждение и пароли на свой мобильный телефон. Оставлять контакты стало обычным делом.
Вывод: проверив гипотезу единожды, не забывайте про неё навсегда. Если изменились обстоятельства и интуиция подсказывает вам, что пришло время проверить гипотезу ещё раз — действуйте. Возможно, именно сейчас она созрела и готова принести свои плоды.
Читайте также:
Мнение редакции может не совпадать с мнением автора. Ваши статьи присылайте нам на 42@cossa.ru. А наши требования к ним — вот тут.