Короткие видео в Дзене: в 4 раза увеличили ключевые метрики за 3 месяца

Рассказывает ведущий менеджер по продукту Phillips Анастасия Московченко. Руководила продуктами в Яндексе, ВКонтакте и Дзене.

В Дзене есть основной фид, где показываются все виды контента: короткие и длинные видео, а также статьи. Кроме этого, есть отдельные ленты для каждого формата, в том числе и для коротких видео. Основной фид ― это именно то место, откуда короткие видео могут получить много трафика.

Эффективная и выгодная реклама с сервисом от МегаФона

Широкий выбор рекламных каналов, более 100 параметров по интересам, подробная аналитика и другие возможности уже ждут в Личном кабинете. А еще кешбэк 100% за запуск рекламы в первый месяц и еще 10% — каждый месяц.

Узнать больше >>

Реклама. ПАО «МегаФон». ИНН 7812014560. ОГРН 1027809169585. ERID LjN8K1P7y.

Как выглядел новый формат коротких видео в Дзене

В чём была проблема

Главной проблемой было то, что размер карточки для роликов был настолько велик, что занимал весь экран пользователя. Это приводило к тому, что при прокрутке главной ленты ролик автоматически проигрывался, искусственно увеличивая количество просмотров и время просмотра (Time Spent).

То есть даже если пользователь просто замедлял прокрутку на карточке ролика без активного взаимодействия с ним или клика, мы автоматически считали это просмотром. Это могло создавать иллюзию, что ролики просматриваются и привлекают внимание пользователей, хотя на самом деле это могло быть не так.

Последствия

В результате мы столкнулись с нереалистичной картиной, которая затрудняла анализ продукта и принятие обоснованных решений по его развитию.

Стратегии и решения

Мы начали с опросов и исследований, которые показали, что пользователи просто не понимают отличие коротких вертикальных видео от длинных. Поэтому было решено делать упор на обучение пользователей.

Обучение свайпу

Мы стали объяснять, что за карточкой скрывается целая лента, а также работать над улучшением механики свайпа. Так мы смогли преодолеть недостаточную интуитивность интерфейса и несоответствие нового продукта уже сформированным пользовательским привычкам. Про то, как мы учили пользователей смотреть ролики можно почитать в статье дизайнера продукта Лены Рамазановой.

Добавили подсказки про прокручивание видео

Однако эти изменения привели лишь к небольшому росту TS роликов на несколько процентов. Этого было недостаточно.

Создание карусели

Раньше карточки с короткими видео были слишком большими и занимали весь экран, что не мотивировало пользователей кликать на них. Мы решили уменьшить размер карточек и сделать из них карусель. Так мы показывали, что за одной карточкой следуют другие и поощряли свайпать.

Это было верное решение: убрать нечестный способ накрутки просмотров внутри продукта. Для нас этот шаг был сложным, так как привёл к падению метрик и недовольству авторов.
Дизайн и UX/UI карусели были тщательно продуманы, чтобы сделать её максимально привлекательной и удобной. Мы провели порядка 10 A/B экспериментов с различными вариантами каруселей, прежде чем выбрали оптимальный вариант.

Появился отдельный фид для коротких видео в виде карусели

Рубрика «Эээксперименты!»

После того, как карусель была внедрена, метрики упали на 30%. Это было видно и на графиках, и в негативных комментариях авторов, потому что их статистика тоже упала.

На графиках видно сильное снижение времени просмотра

Реакция пользователей также была сильно негативной

Мы провели порядка 150 экспериментов для увеличения времени просмотра в роликах. Эксперименты включали в себя как изменение дизайна карточек, так и изменение алгоритма подбора контента и использование различных стратегий продвижения.

Каждый эксперимент тщательно анализировался и мониторился, чтобы мы могли точно определить, что работает, а что нет. Это было важно для того, чтобы реагировать на изменения и непрерывно оптимизировать продукт.

Мониторили во внутренней платформе по A/B экспериментам. Это выглядит как таблица с основными метриками, где мы сравниваем метрики пользователей без изменений и пользователей с изменениями и выбираем лучший вариант. А если видим что-то необычное, то анализируем вместе с командой ml-аналитиков и продуктовых аналитиков.

Контентные гипотезы

Для проведения экспериментов мы сформулировали несколько гипотез на наполнение каруселей:

По досмотренности роликов. Предполагает сортировку контента по уровню досматриваемости. Это может указывать на качество и интересность контента.

По action rate видео. Предполагает ранжирование видео по их action rate, что может включать в себя показатели взаимодействия: клики, просмотры, лайки.

По комментариям/лайкам. Выбирать контент, который получил наибольшее количество комментариев или лайков, что может указывать на его популярность и вовлечённость аудитории.

Все эти эксперименты помогли повысить вовлечённость и интерес пользователей к роликам. Пользователи больше на них кликали и проваливались в ленту.

Один из экспериментов, который дал нам самый высокий CTR. Можете догадаться почему;)

Самое простое решение — натренировать модели формировать ленту по соотношению «клики к показам» (CTR). Но тогда мы получили бы весьма специфичный контент: вирусные треш-ролики, девушки в обтягивающей спортивной форме и так далее.

Таких событий на один-два порядка меньше по сравнению с количеством кликов и показов, поэтому они не подавили целевую метрику. CTR всё ещё играл важную роль, но при этом мы показали более персонализированный контент.

Этот эксперимент дал +20% к timespent. Чистый кликбейт не так интересен пользователям, если оценивать даже по двухнедельному А/В эксперименту.

Синергия продукта и ML-команды

При работе над сервисами рекомендаций очень важно даже при UI изменениях быть синхронизированными с ML-командой. Просто новое отображение карточек роликов в карусели на самом деле затрагивает и изменения алгоритмов рекомендаций.

Мы решили попробовать выбирать разнообразные лайки среди всех лайков пользователя, то есть не просто выбирать самый залайканный контент, а учитывать лайки среди разного типа контента. Параллельно применяли разные модели рекомендаций, чтобы избавиться от нежелательных видео, например, с плохим качеством изображения и нечёткой картинкой. Карусель теперь учитывала разные интересы пользователя, но на метрику timespent это почти не повлияло.

Тогда попробовали другой подход. Карусель — это наша витрина, и мы хотим показывать на ней только качественный контент. Мы стали выдавать только элементы с многочисленными просмотрами, это повысило длительность просмотра видео.

Также мы уменьшили длительность жизни каждого ролика до одного месяца. Такова специфика короткого формата: блогеры постят часто, чтобы ловить краткосрочные тренды. Все эти изменения ещё на 20% повысили timespent и обеспечили красивую карусель роликов.

Наконец, мы изменили стратегию рекомендаций роликов, основываясь не только на реакциях пользователей в роликах, но и на других типах контента в Дзене (статьи и длинные видео), что принесло 15% времени.

Мы повышали метрики не только машинным обучением. Если продукт неудобен для пользователя, то какие бы модели мы ни придумывали, ничего не получится.

Например, вот два видео с разными элементами управления. Когда их закрасили, метрика timespent выросла на 6%:

На первом изображении лайки, комментарии и другие элементы навигации без заливки, а на втором они стали более заметными

Каждый такой эксперимент — это сложные задачи, на решение которых мы тратили много ресурсов. Казалось бы, изменение небольшое, но люди стали часто лайкать видео, потому что им было проще заметить элементы управления, а следовательно мы показывали больше релевантных видео.

Обзор основных тактик и стратегий для роста продукта

Улучшение онбординга пользователей. Мы ввели обучение пользователей механике свайпа для улучшения их взаимодействия с продуктом. Работали над более явными призывами к свайпу, чтобы процесс просмотра роликов был более интуитивным.

Проектирование пользовательского интерфейса. Переход к карусели был ключевым элементом нашей стратегии роста. Мы уменьшили размер карточек и создали карусель, которая позволила пользователям видеть несколько элементов контента сразу, что увеличило их взаимодействие с продуктом.

Тестирование и итерации. Мы проводили множество A/B-тестов, чтобы определить, какие изменения в дизайне и функциональности продукта приводят к наибольшему росту. Это позволило нам быстро адаптироваться и ставить на удачные функции или изменения.

Оптимизация контента. Мы улучшили алгоритмы подбора контента, научив его лучше понимать предпочтения пользователей. Это позволило предлагать более целевой и интересный для каждого отдельного пользователя контент, что привело к увеличению времени, проведённого в приложении.

Результаты и уроки

После продолжительного и трудоёмкого процесса проведения экспериментов и изменений всего за три месяца мы сумели увеличить активность пользователя (DAU) и время, проведённое на просмотре роликов (TS), в 4 раза.

И всё это достигнуто без использования недобросовестных приёмов. Наоборот: мы сфокусировались на качестве и эффективности продукта.

С помощью этого подхода мы сумели превратить проблему в возможность для роста продукта, улучшить качество наших рекомендаций и повысить удовлетворённость пользователей.

Спасибо, что уделили время прочтению этой статьи. Если у вас есть вопросы или комментарии, буду рада ответить.

*Соцсети Instagram и Facebook запрещены в РФ; они принадлежат корпорации Meta, которая признана в РФ экстремистской.

Мнение редакции может не совпадать с мнением автора. Ваши статьи присылайте нам на 42@cossa.ru. А наши требования к ним — вот тут.