Гипотеза: расширенная форма заявки на кредит снизит конверсию в заявки, но при этом поможет увеличить их качество.

Исследовательские вопросы:

• Насколько снизится конверсия в заявки?

• Повысится ли качество оставленных заявок на кредит?

Реализация

Провели A/B-тестирование заявки на оформление кредитной карты. Запустили эксперимент с двумя вариантами формы: короткой и длинной. В короткой форме было 23 поля, 19 из которых обязательны для заполнения. В расширенной — 33 поля с 25 обязательными для заполнения.

Потребовалось 65 дней, чтобы достичь минимального обнаруживаемого изменения конверсии в 1%. Основной метрикой выбрали конверсию в заявки, так как она выше конверсии в договор. Это позволило завершить тест в более сжатые сроки: чем выше конверсия, тем быстрее можно собрать необходимые аудитории. Ориентироваться на конверсию в договор означало бы несколько месяцев тестирования. Для банка такой срок был бы слишком долгим.

В случае снижения количества выдач кредитных карт банк был готов отказаться от расширенной анкеты. Снижение конверсии в продажи не должно было превысить экономическую выгоду от снижения нагрузки на сотрудников банка.

Так как изменения в форме были значительными и затрагивали логику её работы, то для реализации теста использовали механизм подмены server-side. Экспериментальный вариант определялся серверным скриптом и загружался без видимых задержек для пользователя.

Для мониторинга данных и оценки конверсии в заявки использовали Google Optimize. Для подсчёта конверсии в договоры использовались сырые данные, собранные в BigQuery с помощью OWOX BI и данные о договорах, выгруженные из CRM банка. Заявки на сайте фиксировались как транзакции электронной торговли Google Analytics и таким образом попадали в BigQuery с помощью OWOX Pipeline.

Номер транзакции отправлялся в CRM банка. При выгрузке данных из CRM в BigQuery он используется как ключ для объединения данных. По этому ключу все этапы прохождения заявки можно атрибутировать к сессии, в которой заявка была получена.

Анализ результатов

По данным Google Optimize, конверсия длинной формы ожидаемо снизилась на 1%.

На основе этих данных кажется, что тест оказался неудачным. Но для окончательного вывода нужно увидеть, как экспериментальные заявки конвертировались в договор. На это требовалось дополнительное время — между подачей заявки и заключением договора может пройти до 60 дней.

В итоге финальные данные показали ощутимое улучшение качества заявок. Конверсия из заявки в договор выросла на 0,52%, итоговая конверсия из посещения в договор выросла на 0,02%. Клиенты, заполнившие длинную форму, с большей вероятностью получат кредит.

Оказалось, что если оценивать результаты, опираясь только на заявки — конверсия падает. Но именно благодаря сквозной аналитике получилось отследить,что конверсия в договор не только не упала, но и немного выросла.

Результаты

На основании A/B-тестирования, проведённого D’Terra, Азиатско-Тихоокеанский банк добавил поля в заявке, намеренно её усложнив. Собрав сырые данные с помощью OWOX Pipeline и объединив их с данными о договорах в Google BigQuery, удалось подтвердить гипотезу.

• Новая форма отсеяла потенциально не заинтересованных клиентов: конверсия в заявку уменьшилась на 1,1%.

• Улучшился процесс прескоринга и повысилось качество оставляемых заявок: на 0,52% выросла конверсия из заявки в договор и на 0,02% итоговая конверсия в договор из лида, пришедшего на страницу заполнения заявки.

• Благодаря расширенной форме уже на этапе подачи online-заявки обрабатывается необходимая для принятия решения банком информация. Снижена нагрузка на сотрудников отделения — уменьшены затраты банка.

Изменение формы заявки существенно повлияло на конверсию

Тест показал, что при увеличении количества полей отсекаются в основном некачественные заявки, которые не влияют на итоговую конверсию в договор, а значит, банк ничего не теряет. Попутный эффект: длинная форма улучшает итоговое одобрение. Важно, что при усложнении формы банк не потерял в количестве договоров.

Источник фото на тизере: National Cancer Institute on Unsplash