Как мы с помощью предиктивных моделей сэкономили 20% бюджета на продвижение мобильных игр

В портфолио Mail.Ru Group входит пул мобильных игр. Компания активно развивает проекты, в том числе продвигая их и привлекая аудиторию. Важная часть этого процесса — оценка качества трафика.

Чем раньше удаётся получить такую оценку, тем более оптимально можно распределить бюджет: точная информация о качестве трафика позволяет отключить неэффективные каналы и сосредоточиться на тех, которые приводят в игру самых платёжеспособных и лояльных пользователей.

Чтобы минимизировать затраты и повысить монетизацию, в компании разработали инструмент предиктивной аналитики, работающий на базе сервиса myTracker и использующий технологии машинного обучения.

Идет регистрация агентств-участников в рейтинги RUWARD 2024!

До 8 декабря идет этап регистрации диджитал-агентств/продакшенов в серии из 46 рейтингов узких диджитал-специализаций Руварда. Поторопитесь! =)

.

Для ряда игровых проектов компании (Juggernaut Wars, «Эволюция», Hawk, Hustle Castle) были разработаны модели, прогнозирующие основные метрики — например, LTV (lifetime value — совокупный доход, получаемый за всё время) — для любой выборки игроков на основе анализа данных, собранных всего за один-пять дней после установки игры этими пользователями.

На графике ниже — отчёт по качеству прогнозов для команды медиабаинга, позволяющий постфактум убедиться, что прогнозы и решения, принятые на их основе, были верны.

Технология

Разработанный инструмент предиктивной аналитики нацелен на прогнозирование самого сложного показателя — LTV 90 дня в разрезе каждого пользователя. Это позволяет видеть любую, даже самую экзотическую группу без значительной вычислительной нагрузки.

Решение об отключении неэффективного канала должно приниматься как можно раньше и на основе максимально точных данных. Но цена ошибок недо- и переоценки неодинакова, и в нашем случае мы исходили из того, что лучше недооценить пользователя.

Для прогнозирования использовались данные о длительности пребывания пользователя в игровом приложении, о его платежах и устройстве, а также социально-демографические характеристики.

Поскольку в играх доля платящих пользователей невелика (может варьироваться от 1 до 10% в зависимости от региона, жанра и внутренних механизмов монетизации), качество прогноза LTV ухудшалось из-за «длинного хвоста» неплатящих игроков.

Эта проблема решалась семплированием неплатящих и добавлением признака «вероятность заплатить». На кросс-валидации классификатор «платящие — неплатящие» продемонстрировал довольно хорошие результаты (70% recall (полнота) и 95% ROC AUC), и предсказанные вероятности коррелировали с платежами.

Отдельной проблемой был учёт многочисленных категориальных признаков. Здесь на помощь пришла техника кодирования значений категориальных признаков средним: например, для каждой страны на основе исторических данных высчитывалась доля платящих пользователей из этой страны.

В итоге нам удалось получить алгоритм, который предсказывает LTV, а заодно и вероятность того, что конкретный пользователь будет платить.

На графике ниже представлено распределение реального LTV когорты пользователей игрового приложения и прогноза LTV с помощью модели случайного леса.

Мы рассматривали также возможность прогнозирования LTV по срезу (например, «приложение — страна» или «приложение — кампания — партнёр») на основе линейных моделей или более сложных — градиентного бустинга, случайного леса, пуассоновской регрессии и других: для этого достаточно иметь данные о динамике агрегированных платежей за первую неделю взаимодействия пользователя с приложением.

Таким образом, у нас в распоряжении окажется прогноз LTV для сегмента пользователей, и по этому прогнозу можно судить о целесообразности привлечения соответствующего трафика. На кросс-валидации для разных приложений удалось спрогнозировать LTV по сегменту с относительной ошибкой от 0 до 25%.

Как это работает

В общих чертах процесс работы созданной предиктивной модели выглядит так.

1. Накопление данных для обучения модели. На это требуется минимум два-три месяца с момента начала сбора данных через SDK и запуска трафика на проект. Для определения необходимого объёма данных (как по времени, так и по числу платежей) строятся кривые валидации, по которым для каждого приложения автоматически определяются свои константы — минимальный размер выборки (число платежей и событий). Для анализа стабильности прогнозов модели строятся доверительные интервалы на основе bootstrap и высчитывается их дисперсия.
2. Первичное обучение и валидация модели (подбор и валидация моделей и их гиперпараметров, исключение лишних признаков). Нам требуется получить несколько моделей, поскольку прогнозирование и уточнение метрик происходит на 1-й, 2-й, 3-й, 7-й, 14-й и 21-й день с момента регистрации пользователя, и для каждого дня необходима отдельная модель. Чтобы ускорить вычисления, мы оцениваем важность признаков на основе случайного леса и градиентного бустинга и выбираем топ самых значимых признаков. Для определения лучшей модели на данный момент времени используется модифицированный критерий MAPE + sMAPE. Гиперпараметры моделей настраиваются на временной кросс-валидации. Сегодня для оценки моделей по всем дням и на всех игровых проектах Mail.Ru Group используется целый ряд моделей, но чаще по точности побеждает градиентный бустинг или случайный лес.
3. Использование модели. После определения оптимальных настроек моделей можно начать их применение. В конце каждого дня выполняется первая итерация вычисления прогнозов для каждого пользователя, установившего приложение в течение предыдущих суток. Далее уточняются прогнозы для когорт пользователей, для которых наступил 2-й, 3-й и последующие дни после установки игры. Уточнение прогнозов происходит за счёт новых данных, приходящих ежедневно, — новых платежей пользователей, их сессий, запусков приложений и так далее.
4. Добавление данных и дообучение модели. Каждый день мы добавляем новые данные к обучающей выборке и еженедельно анализируем качество модели. При ухудшении качества мы перевзвешиваем объекты в выборке в соответствии с наблюдаемым трендом изменения платежей и заново обучаем модель. Дообучение также проводится при резком изменении метрик проекта (как правило, вследствие внедрения новой функциональности, механик, либо при выходе на новые рынки).

Итоги

Инструмент прогнозирования LTV, разработанный в компании, помогает Mail.Ru Group оптимизировать бюджет, выделенный на продвижение игр. Использование предиктивных моделей позволило сэкономить до 20% маркетингового бюджета: ранее эти деньги уходили на кампании, которые приводили в игру неплатящих или просто нерелевантных пользователей, но узнавали мы об этом по факту, то есть через несколько недель, когда оставалось только фиксировать убытки.

Кроме того, удалось сэкономить до 15% времени сотрудников отдела закупки: прежде они были вынуждены самостоятельно анализировать и фактически пытаться угадать уровень качества трафика по данным за две-четыре недели. Таким образом, благодаря предиктивной аналитике мы вышли на качественно новый уровень эффективности в маркетинге.

Мнение редакции может не совпадать с мнением автора. Ваши статьи присылайте нам на 42@cossa.ru. А наши требования к ним — вот тут.