Три основных шага для оценки эффективности новых фичей

Релиз фичи в приложении — всегда волнительное событие для команды. Как аудитория примет функцию? Будут ли ей пользоваться? Оправдает ли она возложенные надежды?

Какого результата вы планируете достичь с помощью апдейта, нужно решить ещё на этапе разработки. Это может быть рост конверсии в платные подписки, увеличение продолжительности сессий или, например, снижение процента уходов.

Предположим, цель поставлена, новинка разработана и даже запущена. Как понять, получилось ли у вас реализовать задуманное? 

В этой статье мы поговорим о том, как измерять эффективность новых фичей, а также об их влиянии на пользовательское поведение. 

Шаг 1. Раскатка апдейта на части пользователей

Мы рекомендуем не переводить на новую версию продукта всех пользователей сразу. Обновления часто тянут за собой ошибки: иногда почти незаметные, но, возможно, критические.

Конечно, если проблема существенная, вы узнаете о ней сразу после релиза:  на вас обрушится шквал критики. Может быть, вы даже быстро сможете её решить — и об этом забудут. Но зачем ставить под угрозу лояльность сразу всей аудитории? 

Способ выявить больные места с минимальным риском существует: раскатывайте приложение постепенно. Запустите тестовую версию на 10–50% пользователей и внимательно следите за их поведением.

myTracker

Чтобы понять, одобряют ли пользователи апдейт, присмотритесь к динамике таких параметров как Daily Active Users (DAU — количество активных пользователей за день), Retention и Churn Rate (показатели удержания и оттока клиентов, соответственно).

После анализа  метрик, не забывайте сегментировать тестовую выборку по техническим характеристикам устройств. 

myTracker

Так вы быстрее выявите локальные ошибки, связанные с определённой ОС, железом или разрешением. Возможно, половина пользователей не желает проходить бонусный уровень только потому, что он некорректно отображается на iPhone.

Такое тестирование жизненно необходимо, когда апдейт прямо затрагивает базовую функциональность приложения. И если апдейт небольшой, то такого тестирования вполне хватит для его оценки.

Шаг 2. Настройка и анализ кастомных событий

Заранее подумайте о том, важно ли вам видеть весь пользовательский путь в работе с новой фичей. Если хотите сразу после запуска получить отчёт - кто, как и когда воспользовался новой функцией, то озадачьтесь настройкой кастомных событий (КС) ещё до релиза.

myTracker

«Маячки» КС реагируют на то, что происходит на пути пользователя:

• факт совершения события говорит нам, что пользователь  запустил функцию;

• статус показывает, что она используется прямо сейчас;

• стейт сообщает, что сеанс завершился.

Любые другие детали можно рассмотреть, если настроить дополнительные параметры. Для этого существуют два типа разметки КС.

Первый тип предполагает отслеживание только посещений экранов. Он хорошо показывает себя на функциях со множеством страниц и кучей вариантов переходов между ними. По трекеру вы будете чётко видеть, как пользователи двигаются и на каком этапе уходят.

Второй - рассчитан на то, чтобы следить за совершением действий. Например, счётчики срабатывают на нажатие, выбор из списка, заполнение поля. Такая система помогает обнаружить конкретные «точки преткновения». Например, кнопки, которые никто не нажимает из-за неудобного расположения.

Подробнее о том, что такое кастомные события и как их настраивать, можно почитать в этом материале.

Как знания о КС  применять на практике? 

Простейший пример: попробуйте с помощью КС  оценить вовлечённость пользователей в новую функцию.

Для этого всего лишь нужно посмотреть на следующие метрики:

• общее число запусков или просмотров экранов фичи;

• количество уникальных пользователей фичи;

• их процент ото всех активных пользователей  продукта;

• среднее количество запусков в день.

Обратите внимание, что большая разница между первыми двумя параметрами может говорить  о проблеме. Если одни и те же пользователи совершают одно и то же действие много раз, то, возможно, у них что-то не получается.

myTracker

Пример посложнее: поднимитесь на ступеньку выше — вы начнёте замечать закономерности.

Нужно разобраться, какие группы пользователей больше всего вовлечены в тестирование новинки, и какая функциональность интересует их в первую очередь.

Например, вы добавили в игру магазин со встроенными покупками за реальные деньги. Какие товары в нём чаще всего приобретают? А кто это делает: игроки высоких или низких уровней? Ответите на эти вопросы — будете знать и целевую аудиторию своего виртуального магазина, и её желания.

Высший пилотаж: переходите от линейных закономерностей к комплексному анализу пользовательского пути.

Что обычно делают пользователи, прежде чем совершить покупку? Если вы поймёте контекст, то сможете эффективнее воздействовать на триггеры.

Например, вы видите, что игроки массово отправляются в магазин за новой бронёй после того, как проигрывают бой. Не ждите, пока они придут сами, — предлагайте купить броню во всплывающем окне сразу после поражения на ринге.

3. Работа с аудиторными сегментами

Анализ кастомных событий помогает  нам понять все базовые критерии эффективности апдейта. В этом разделе речь пойдёт о корреляции между использованием новой функции и поведением в приложении.

Выделите в отдельную группу пользователей, которые уже взаимодействуют с вашей фичей, чтобы было удобно сравнивать их с остальной активной аудиторией.

Удержание

Удержание пользователей имеет решающее значение для успеха. Людей, для которых ваш продукт стал привычкой, намного проще вести по воронке продаж. Чтобы оценить связь между использованием вашей фичи и удержанием, обратите особое внимание на новых клиентов.

Например, вы добавили в своё приложение для обработки фото возможность выкладывать результат напрямую в соцсети. Одни новые пользователи делятся фотографиями в первый же день, а  другие - этого не делают. Какую группу удержать проще?

Для этого вам необходимо провести сегментацию пользователей.

myTracker

Если корреляция есть — замечательно. Позже мы поговорим о том, что это значит.

Вовлечённость

С чем ещё может коррелировать применение  апдейта? Конечно, с частотой использования   приложения в целом. Взгляните на количество сеансов, которые совершают пользователи.

Возможно, люди, которые делают репосты обработанных фотографий в соцсети, в среднем чаще заходят в редактор.

myTracker

Конверсия

А что насчёт связи между использованием фичи и конверсией  продаж? Давайте посмотрим на доход, который вам приносят разные группы пользователей.

Предположим, базовые функции вашего фоторедактора открыты всем, а доступ к продвинутым инструментам можно получить, если оформить платную подписку. Причём есть несколько тарифных планов: Standart, Medium и Premium. Вы можете сегментировать репосты по тарифам и посмотреть, кого новая функция привлекла больше, а кого — меньше.

myTracker

Любые другие параметры

Что ещё происходит с пользователями, которые взаимодействуют с новым функционалом? Присмотритесь, поищите закономерности. Любая из метрик у вашей выборки может оказаться выше или ниже среднего:

• процент DAU и MAU — количество уникальных пользователей за сутки и за месяц  

• LTV и ARPU — общая и текущая выручка от пользователя

• ROI — коэффициент окупаемости

myTracker

Что дальше?

Мы рассказали о трех основных шагах для оценки эффективности новых функций в приложениях, но на этом нельзя останавливаться. Теперь главное — правильно  интерпретировать наблюдения. Помните: какие бы взаимосвязи мы ни нашли, мы еще не знаем причину их возникновения. Поэтому рано делать какие-либо выводы.

• Может быть, вовлечённость и удержание действительно увеличились благодаря новинке. Тогда  логично начать продвигать фичу на широкую аудиторию.

• Но есть и другой вариант: изначально более вовлечённые пользователи   первыми обнаружили и опробовали функцию. Тогда стимуляция  других пользователей к  её использованию не сделает их лояльнее.

Чтобы понять, в чем  первопричина, изучите историческое поведение вашей выборки. Отличались ли эти люди более высокими значениями метрик до релиза? Если да, то, скорее всего, вы просто имеете дело с группой самых преданных фанатов вашей разработки — это тоже результат.

Даже если выяснилось, что обновление не вызвало особого подъёма активности, рано опускать руки. Поиграйте  со всплывающими подсказками, посмотрите, как сработает поощрение аудитории на взаимодействие с функцией — словом, поэкспериментируйте.

В заключение дадим ещё один совет: не занимайтесь обработкой лишних данных! 

На сегодняшний день аналитические платформы вроде Google Analytics или myTracker дают возможность отследить буквально всё, что связано с вашим продуктом. При этом, большие объёмы информации требуют ресурсов для обработки и отвлекают от действительно важных параметров.

То, за какими метриками вам нужно следить, зависит только от ваших целей. Смело выбирайте те инструменты, которые актуальны для вашего продукта.