Внедрить data-driven и остаться в живых. Подводные камни веб-аналитики

Экспертное мнение, логичное развитие текущего продукта, опыт конкурентов и других рынков, данные по взаимодействию пользователей с продуктом — вот основные источники вводных для развития или создания продукта. И всё же давайте начистоту: экспертное мнение может быть здравым, верным, но неактуальным. Не обойтись и без «зашоренности»: когда долго работаешь с продуктом, глаз замыливается. Опыт конкурентов и других рынков — информация для размышления, однако объективно оценить эффективность применённых методов невозможно.

На помощь приходит data-driven — подход, в котором стратегия управления основана на данных. В это русло войти непросто, и непонятно, нужно ли. Часто хочется вернуться на предыдущий шаг и оперировать своим экспертным мнением. Но пути назад нет.

Эффективная и выгодная реклама с сервисом от МегаФона

Широкий выбор рекламных каналов, более 100 параметров по интересам, подробная аналитика и другие возможности уже ждут в Личном кабинете. А еще кешбэк 100% за запуск рекламы в первый месяц и еще 10% — каждый месяц.

Узнать больше >>

Реклама. ПАО «МегаФон». ИНН 7812014560. ОГРН 1027809169585. ERID LjN8K1P7y.

«Что вы хотели бы улучшить на сайте и в сервисе?» — такой вопрос мы задали посетителям одного интернет-магазина. Отметили стоимость (высокие цены — 12,8%), доставку (долгая доставка — 15,5%, дорогая доставка — 13,2%) и возврат (неудобный возврат — 7,2%). Это то, с чем пользователи чаще взаимодействует и на чём основываются при решении о покупке. Но это лишь половина ответов. Оставшиеся 50% — шанс выйти на новый уровень. Не всегда можно играть стоимостью товаров или скоростью доставки, но за счёт остального улучшить продукт вполне реально.

Нюансы data-driven

Главный недостаток data-driven подхода — данные не принимают решения. Даже если построить огромную систему, которая будет собирать все возможные данные и автоматически их обрабатывать, принимать решения придётся самостоятельно.

Инфраструктура сбора данных требовательна к человеческому ресурсу. Даже крошечная ошибка, опечатка или другая мелочь, приводит к проблемам с данными. Когда решения принимаются на данных, это критично. Важна не только внимательность, но и экспертиза data-специалиста: опытный сотрудник обойдёт возможные подводные камни.

Чем больше данных собираем, тем больше времени тратим на обработку и генерацию гипотез по изменениям. Не пытайтесь долго отстраивать инфраструктуру для сбора данных, двигайтесь маленькими шагами. Берите и применяйте данные, полученные в первой итерации. Наращивайте инфраструктуру, добавляйте новые и новые данные, делайте всё более точные и интересные выводы для развития продукта.

Требования к команде и структуре организации. После перехода к data-driven принятие решений на основании экспертного мнения или других источников вводных имеет меньший вес.

Если эксперт говорит, что доставка по субботам не нужна, а данные говорят обратное, отдайте приоритет данным.

Результаты data-driven подхода видны не сразу. Данные кропотливо собираются, обдумываются, и только потом идут в работу. Странно, что некоторые хотят data-driven и тут же быстро хотят получить кратный рост.

Пути назад нет. По нашему опыту, data-driven — правильный подход. С течением времени он наверняка изменится и трансформируется, но сегодня это нужный и важный этап для любой компании, даже не очень большой.

Как получить результат быстрее

Первый вариант. Исследуем, собираем бэклог, внедряем и получаем результат. У нас масса времени, мы учитываем все нюансы. Исследуем долго и тщательно, постоянно уточняем и дополняем новыми данными. Но это слишком долгий процесс, и результатов мы добьёмся нескоро.

Второй вариант. Переработка продукта идёт параллельными потоками. Исследуем составляющие продукта и параллельно обновляем инфраструктуру сайта и приложения. Закладываем время на аналитику и внедрение изменений. Получаем результаты, берём бэклог и начинаем реализовывать. «Начинка» продукта к этому моменту уже готова.

Количественные методы исследований: разметка, опросы, карточная сортировка

Количественные методы измеряются в цифрах и показывают масштаб, отвечают на вопросы «что произошло?» и «как часто это происходит?». Количественные методы не объясняют, почему это произошло: из Google Analytics известно, сколько пользователей отваливается и когда, но причина остаётся неизвестной. Здесь на помощь приходят качественные методы (о них — позже).

Разметка Google Analytics

По возможности разбейте этап на две части: до и после юзабилити-тестирования. Поймите, как пользователи взаимодействуют с интерфейсом, пообщайтесь с ними. Наши догадки о сценариях поведения верны лишь на 10%. Разбивая этап разметки на две части, мы сможем и доразметить сайт, и собрать данные по сценариям реальных пользователей.

Считайте, как пользователи взаимодействуют с интерфейсом, а не только продажи.

Покрыть взаимодействия с товарами на сайте — это хорошо, но и просчитать взаимодействия с элементами на сайте — необходимо.

Старайтесь собрать максимум данных о пользователях. Залогинены или нет, статус и программы лояльности, бонусные баллы, RFM. Чем больше данных о пользователе, тем проще будет взаимодействие.

Когда не хватает пользовательских параметров Google Analytics, пишите JSON. В Google Analytics или Яндекс.Метрике хочется передать максимум информации, задействовать пользовательские параметры, параметры визита и так далее. Часто на это не хватает места, особенно в бесплатном Google Analytics. Если не хватает количества параметров, пишите JSON, — его легко скачать и распарсить.

Используйте разметку расширенной электронной торговли не только для интернет-магазинов. Всегда можно провести аналогию с товаром, даже если вы ничего не продаёте. Google Analytics и Яндекс.Метрика строят отчёты по сущностям «товар», «список товаров», «баннеры». Используйте это по максимуму. Даже если работаете с сайтом торгового центра или страховой компании, проводите аналогии и собирайте данные в удобном и простом виде. Такой трюк много раз нас выручал.

Онлайн- и офлайн-опросы

Данные о сегментации аудитории и персонажах нужны на всех этапах разработки продукта. Каждый член команды в своей работе должен думать о конкретном человеке, который три раза в год покупает страховку на свою семью из пяти человек. Также опросы помогут выявить проблемы с набором функций. Например, пользователь должен сделать пять шагов, чтобы совершить покупку, но на третьем отваливается и уходит. Спрашиваем, почему так происходит, и даём небольшой, но приятный бонус в обмен на информацию.

Выясняется, что пользователь ищет промокод. То есть проблема не в том, что что-то непонятно: есть поле «промокод», человек хочет его найти и сэкономить. Пользователь ещё не знает цену, зато видит поле для ввода промокода и активирует внутреннего охотника за скидками.

Благодаря опросам можем определить, как пользователь взаимодействует с функционалом и с какими трудностями сталкивается.

Семь советов при составлении опросов

1. Заранее продумайте потенциальные сегменты и их требования. Старайтесь быть на шаг впереди, не пытайтесь в 10 итераций понять, кто ваши пользователи, — сократите их.
2. Помните о логике опроса. Нельзя всем показывать один и тот же вопрос, он не может быть всегда прямолинейным. Если пользователю не интересны кредитные карты, не спрашивайте о кредитных картах. Это выглядит логичным, но зачастую горящие дедлайны и желание запустить опрос как можно быстрее перекрывают логику. Потом смотрим на результаты и понимаем, что лучше было сделать качественнее, чем быстрее.
3. Не спрашивайте то, что можно получить из других источников, например, из систем веб-аналитики, CRM, рекрутинговых анкет. Старайтесь минимизировать количество вопросов. На такие вопросы легко отвечать, но на одного человека нельзя вывалить 100 вопросов сразу.
4. Открытых вопросов должно быть минимум, но они должны быть. Не все вопросы подразумевают чёткие варианты ответов. Открытые вопросы выявляют то, чего нет в голове создателей продукта. Даже банальный вопрос «что бы вы хотели улучшить на сайте или в сервисе?» даёт инсайты. Главное, чтобы таких вопросов было не очень много. Иначе вы соберёте много интересной информации, но очень мало ответов о том, что волнует именно вас.
5. Добавьте вводную информацию, например, сообщения об ошибках. Расскажите, сколько будет вопросов, на сколько минут рассчитан опрос. Объясните, зачем проводите опрос, что будет, когда пользователь его пройдёт, поблагодарите за уделённое время. Чем понятнее коммуникация с пользователем, тем больше конверсия.
6. В офлайне проведите срез аудитории до опроса. Поймите, кто ваша аудитория, в какие дни и с кем пользователь ходит в ваше офлайн-представительство.
7. Перед запуском опроса проведите пилотное тестирование на себе или коллегах и внесите правки. Проверьте, что опрос получился логичным, кнопки работают, подсказки и сообщения об ошибках вылетают в нужный момент. Внесите правки и только после этого выводите на пользователей.

Для опросов на сайте или по базе клиентов подойдут SurveyGizmo или SurveyMonkey. Если проводите панельный опрос, воспользуйтесь Anketolog или Oprosso.

Карточная сортировка

Карточная сортировка нужна для определения удобного для пользователей варианта меню, каталога и его фильтров и информационной архитектуры. Попросите пользователей разложить карточки в офлайне или онлайне — для этого есть масса сервисов. С помощью карточной сортировки получим структуру, понятную пользователям. Не фантазируйте, сколько должно быть уровней вложенности, спросите у пользователей и узнайте, как им будет удобно.

Качественные методы исследований: интервью с бизнесом, глубинные интервью с пользователями, юзабилити-тесты

Качественные методы отвечают на вопросы «почему?» и «как произошло?». Они не измеряются в цифрах, но дают понять контекст, почему у пользователя возникли те или иные проблемы. Во время юзабилити-тестирования и глубинного интервью вы общаетесь с пользователем напрямую. Большая статистически значимая выборка тут ни к чему — мы пытаемся понять причину отказа и способ взаимодействия с нашим продуктом здесь и сейчас.

Интервью с бизнесом

Даже если вы работаете в той же сфере, не пренебрегайте интервью. Поговорите с коллегами, которые отвечают за отдельные направления, особенно с теми, кто сталкивается с пользователями и получает фидбек пользователей.

Начните с общих вопросов и постепенно переходите к конкретным. Это поможет установить контакт и разговорить собеседника. Затем бейте в интересные детали. Продумайте сценарии интервью. Ориентируйтесь на то, как пользователь взаимодействует с компанией.

Пообщайтесь с представителями бизнес-юнитов, с которыми сталкиваются пользователи. Старайтесь собрать максимум данных, даже если часть информации кажется неприменимой.

Когда начнёте копать глубже, вспомните об Иване Ивановиче из отдела логистики, который сообщил о нехватке крафтовой бумаги для упаковки фарфоровых снеговиков.

Определите последовательность интервью, чтобы последующее дополняло и уточняло предыдущее. В идеальном случае в конце интервью последней итерацией должен быть топ-менеджер или генеральный директор — тот, кто снимет противоречия предыдущих этапов. Например, задача онлайн- и офлайн-отделов продаж — продавать. У них одинаковые KPI, но они бьются за клиента, каждый из них тянет одеяло на себя. При этом интересы пользователя отходят на второй план. Наша задача — структурировать это и привести к общему знаменателю.

Глубинные интервью с пользователями

Составляйте план интервью и следуйте ему. Если респондент говорит не по делу, не прерывайте: спонтанные ответы — это кладезь полезной информации. Старайтесь активно слушать, помогайте мимикой и жестами. Человек должен видеть, что вы не просто хотите провести с ним пару часов, — вы хотите понять его боль.

Не высказывайте личное мнение и не ограничивайте респондентов.

Абстрагируйтесь, не вносите искажение личного представления о том, каким должен быть продукт и как им пользоваться.

За шесть лет работы мы поняли, что общение с фокус-группами даёт только представление пользователей о компании и продукте. К сожалению, эта информация в своей массе неприменима для развития продукта.

Юзабилити-тестирование

Наш отдел аналитики проводит модерируемые очные юзабилити-тестирования и совмещает их с глубинными интервью. От удалённых юзабилити-тестирований практически отказались: респондентов много, но нет возможности пообщаться с ними более детально здесь и сейчас.

В качестве примера приведём промежуточные результаты очного юзабилити-тестирования. Цитаты респондентов:

• Респондент: 63 года, уверяет, что не может добавить своих внуков в личный кабинет — система не позволяет. Покупает на всю свою большую семью: трое детей с супругами, пятеро внуков, родственники и знакомые.
• Про блок рекомендуемые товары: «те товары, которые никак не могут продаться, или самые популярные товары ... не знаю», «товары с более выгодной ценой».
• «Всё складываю в корзину, потом выбираю».
• «А как мне определить, когда мне позвонят, может, я буду на переговорах?»
• «Заходя в бренды, необходимо видеть свои покупки данного бренда, раньше это было, и было очень удобно. Очень жаль, что отключили данную функцию. Я делала много покупок и не помню, покупала в данном бренде что-то или нет, а данная функция очень выручала и помогала в выборе».

Так, один из пользователей всё складывает в корзину и только потом выбирает. Google Analytics отобразит, что в корзину добавили 50 товаров, а купили пять. Это может показаться странным, но есть реальные пользователи, которые выбирают товары в корзине как одежду в примерочной.

Или блок «рекомендуемые товары». В Cross-Sell и Up-Sell кто-то видит подвох: кажется, что это «залежавшиеся» товары.

Важно помочь пользователям, сказать, что нет задачи обмануть или распродать остатки: мы считаем, что это именно те товары, которые могут ему пригодиться.

Встречи с реальными пользователями заставляют иначе думать о продукте и работать с ним. Эмпатию вызывает живой человек, а не цифры на экране.

Не планируйте больше 4–5 тестирований в день — уставший модератор вычленит меньше информации. Планируйте расписание так, чтобы модератор успевал отдохнуть и переключиться. После каждого теста тезисно фиксируйте результаты: проблемы, вопросы сложности, которые возникли у пользователя. Помните, что респонденты должны соответствовать сегментам, полученным из исследований.

Проведите пилотное интервью. Проблемы во время интервью с пользователями вызывают недоверие. Больший авторитет складывается у профессионала, который не спрашивает первое, что пришло в голову, а следует плану.

Не мешайте респондентам, не говорите: «Ну, как же ты не видишь эту кнопку! Все видят, даже бабушка, которая была до тебя».

Общаетесь с ними, сопереживайте, доказывайте, что они — это те, без кого невозможен продукт. Пропустите эту правду через себя и покажите людям.

Проблемы интерфейса возникают в том числе из-за бизнес-процессов, и общение с пользователями это выявляет. Нажимая «Оплатить», пользователи запускают огромное количество бизнес-процессов внутри компании. Общаясь с людьми, старайтесь подчеркнуть такие вещи, это поможет дальнейшему развитию продукта.

Экспертная оценка

Этот метод хорошо работает, когда нужен конкретный ответ на конкретный вопрос. Определите задачу для оценки. Не пытайтесь просчитать всё, максимально сузьте и детализируйте запрос.

Сформулируйте критерии сравнения с конкурентами, но не ограничивайтесь функциями продукта. Говорите об экономической составляющей, о том, как представлен бренд в интернете.

Что угодно, только не зацикливайтесь на наличии или отсутствии кнопки. Смотрите шире.

Не пытайтесь выбрать вообще всех конкурентов, возьмите 3–5 ключевых игроков. Это покроет большинство спорных пунктов, а 6–8 конкуренты подтвердят полученные мысли.

Постарайтесь узнать, какие критерии наиболее важны для пользователей при принятии решений. Или составьте предварительный чеклист и проведите опрос. Старайтесь убрать субъективность и получить обратную связь пользователя.

Кажется, что сделать такую оценку просто и быстро, но это не так. Помните об этом! Для такой работы исследователь должен быть бодр, свеж и сфокусирован. Только так удастся не просмотреть маленькие детали, которые вполне могут оказаться принципиальным.

Как использовать полученные данные для дальнейшей работы

Работающий продукт

Совместив качественные и количественные методы, получаем бэклог для доработки или переработки продукта. Для улучшения работы сайта или приложения подойдёт следующий набор действий.

Проведите интервью с бизнесом и узнайте планы по развитию.

Продукт меняется, и некоторые исследования могут быть бессмысленными, а какие-то, наоборот, лучше провести послезавтра.

По результатам онлайн- и офлайн-опроса сегментируйте аудиторию. Спросите пользователей, почему они уходят, в чём возникают проблемы. Собирайте максимум информации — это поможет внести точечные изменения и сразу получать результат. Пока длится исследования, думайте о глобальных изменениях.

Проведите юзабилити-тестирование, пообщайтесь с пользователями — информация о сложностях взаимодействия с продуктом есть только у них.

Детально собирайте данные в Google Analytics. По предыдущим этапам проанализируйте сценарии и проблемы. Разметка поможет посчитать, как часто пользователи сталкиваются с проблемой, где она возникает. Дополняйте результаты качественных методов количественными данными системы веб-аналитики.

Запустите серию A/B/N- и MVT-тестирований до продумывания глобальной стратегии развития. Проверьте понятные и простые в реализации идеи, убедитесь в их жизнеспособности. Это must have, без которого продукту не выжить.

Новый продукт

Для офлайн-бизнеса применяют те же методы исследования, но в меньшем количестве.

Пока нет сайта или мобильного приложения и данных для исследования интерфейса, остаётся только то, что связано с пользователями.

Как и в случае с работающим продуктом, начните с интервью с бизнесом. Поймите, что важно в офлайне — и учтите это в онлайне. Чем более бесшовная связка между онлайном и офлайном, тем эффективнее продукт.

Общайтесь с пользователями, проведите опросы. Запустите панельный опрос, поймите, что и каким сегментам аудитории нужно на сайте. В первой итерации разработки учтите максимум деталей, критичных для пользователей.

Глубинные интервью с пользователями дополнят результаты панельных онлайн-опросов. Общайтесь с представителями вашей аудитории, узнайте, какие у них потребности, что переносить в онлайн-представительство в первую очередь.

На старте исследования помните: чем больше методов используем, тем полнее будет картина.

Неочевидные инсайты для бизнеса

Нам кажется, что пользователи хотят экономить и купят дешевле. Исследования могут выявить, что на самом деле пользователям не хватает брендов категории люкс. Когда мы копнём глубже, выяснится, что таких пользователей много, и развитие новой категории может быть выигрышным за счёт маржинальности. Может быть, пользователям нужна субботняя доставка, чтобы не думать, где человек окажется в среду в 15:00 и куда везти товар. Таких нюансов — великое множество.

В результате исследования получаем описания персонажей. Причастные к проектированию, дизайну и разработке должны держать в голове, для кого они работают, учли ли все требования персонажей и не накодили ли так, что каким-то персонажам стало совсем плохо.

Передаём требования к проектированию коллегам для реализации продукта. Учитываем, что нужно сделать в первую очередь, где дать дополнительную подсказку. Делаем всё возможное, чтобы пользователям было проще. Если мы поможем пользователю, он поможет нам конверсией и профитом.

Формируем бэклог доработок, используя количественные методы, и приоритезируем его. Разметка, опрос и карточная сортировка покажут, что реализовывать в первую очередь, а что подкручивать постепенно. Читай: как тюнить продукт до его максимальной эффективности и конверсии 100%.

Мнение редакции может не совпадать с мнением автора. Ваши статьи присылайте нам на 42@cossa.ru. А наши требования к ним — вот тут.