Мультивариантное тестирование в email-маркетинге на основе Байесовского подхода

Выжимаю ли я по максимуму из рассылки, используя только одну, самую эффективную тему в мультивариантном (A/B/N) тестировании? Что могло бы быть, если допустить использование малоэффективных тем рассылки? Как превратить email-маркетинг в эмоциональный для получения более высоких результатов? Как при этом оптимизировать время отправки письма каждому конкретному подписчику? Если вы, как и мы, используете инструменты тестирования в email-маркетинге и сталкиваетесь с подобными вопросами, то, как говорится, stay tuned. Расскажем, что придумали мы.

 

В поисках ответа мы в DashaMail решили изменить подход к классическому мультивариантному тестированию в email-маркетинге и разработали собственное решение. Теперь это функция Gestalt в сервисе DashaMail, улучшенный вариант A/B/N-тестирования. Главное отличие состоит в том, что Gestalt одновременно тестирует и оптимизирует варианты тем рассылки с различной эмоциональной окраской и время отправки письма каждому конкретному подписчику.

Почему Gestalt? В переводе с немецкого гештальт – целостный образ, структура, форма. С помощью функции Gestalt email-маркетолог может экспериментировать с формой рассылки, а точнее с двумя параметрами – темой и временем отправки, добиваясь максимально возможного приближения к идеальной эффективной рассылке. Мы верим, что такая существует. ;) Принцип Gestalt-тестирования прост: через эксперименты с формой к эффективности всей рассылки.

Преимущество Gestalt-тестирования относительно мультивариантного классического тестирования заключается в одновременном тестировании и оптимизации рассылки, в то время как в A/B/N-тестировании эксперимент и основная рассылка разнесены во времени, а реакция подписчиков на разные темы утром, днем и вечером может сильно отличаться. Возможность одновременного тестирования и оптимизации реализуется с помощью Байесовского подхода к принятию решений,  статистической оценки, позволяющей минимизировать потери и максимизировать полезность.

Тестирование и оптимизация темы рассылки

Gestalt-тестирование с применением методов машинного обучения дает маркетологам возможность максимально использовать самую эффективную тему рассылки, оставляя при этом другие варианты. Заведомо неэффективные варианты получают минимальное количество трафика, но они остаются "в деле", чтобы в случае смены тренда, предпочтений или появления других изменений, можно было оперативно среагировать. Решение – огонь. Маркетолог держит руку на пульсе, не теряя в показателях эффективности рассылок, а, наоборот, увеличивая их.

С функцией Gestalt email-маркетинг становится эмоциональным, ведь пользователю предлагается использовать темы с различной эмоциональной окраской. Вариации эмоций могут очень сильно влиять на реакцию аудитории и увеличить ее вовлеченность. Эмоции могут быть любые: интерес, любовь, страх, печаль… Можно тестировать не эмоции, а форматы темы, будь то вопросительная форма или проверка гипотезы о прямом влиянии скидки в теме письма. Маркетолог приобретает инструмент, дающий простор для полета мысли и проверки гипотез с максимально положительным эффектом.  

Варианты эмоций для создания тем рассылки в DashaMail:



Рассылка с Gestalt-тестированием отправляется плавно в течение 10 часов. Параллельно алгоритм отслеживает статистику по каждой теме и распределяет отправку таким образом, чтобы с самой эффективной темой уходило больше всего писем, оставляя при этом шансы и для других вариантов. Пример тестируемых тем рассылки и результаты (открытия, клики, возвраты, отписки):

Тестирование и оптимизация времени отправки

Gestalt-тестирование позволяет подстраиваться индивидуально под каждого подписчика, отправляя ему письмо именно тогда, когда он с большей вероятностью его откроет. Функция анализирует историю открытий каждого подписчика и подбирает для каждого получателя индивидуальное время отправки. Ведь кто-то читает почту в метро после работы, а кто-то в это время за рулем и откладывает почту на утро. Поведение каждого подписчика может меняться со временем. Поэтому Gestalt разработан так, чтобы постоянно тестировать и оптимизировать: если подписчик перестал открывать рассылку в одно время, он автоматически предложит другое.

Итоги Gestalt-оптимизации

Вот так выглядит отчет по рассылке с применением функции Gestalt:

Маркетолог может оценить итоговый open rate (OR) и его сравнение с тем, какой бы он был, если бы вся рассылка ушла с одной базовой темой или при использовании A/B/N-теста с одинаковым распределением писем по тестируемым темам.

Функция Gestalt – инструмент, с которым маркетолог может значительно повысить результативность каждой рассылки, тестируя различные гипотезы без боязни "облажаться". В большинстве случаев рассылка с применением Gestalt-оптимизации получает более высокий open rate (OR) и, как следствие, click rate (CR). Есть только одно "НО": инструмент эффективен при базе подписчиков от 10 000 адресов. Хотите оптимизировать рассылку? Приходите в DashaMail. :) Поможем со стратегией email-маркетинга и оптимизацией каждой конкретной рассылки.