Data-driven подход в HR: как не терять деньги и время из-за ложных данных

Здесь и приходит на помощь data-driven-подход, где всё решает сбор данных и анализ цифр. Команде HR необходимо воспитывать в себе новые паттерны: много считать, экспериментировать и тестировать гипотезы, оценивать эффективность каналов, вносить изменения в кампании. Потребуются желание и терпение для приобретения аналитических навыков, иначе придётся действовать вслепую, с риском потратить годовой бюджет за квартал с нулевым результатом.

Успешную стратегию невозможно построить без данных. Но и просто собрать «какие-нибудь цифры» недостаточно: они должны быть точными, полными и актуальными. Практика показывает, что, даже понимая важность данных, компании нередко допускают ошибки, которые в разы снижают эффективность аналитики. И, как следствие, принимают неверные стратегические и управленческие решения.
Об ошибках в работе с данными и о том, как их не допустить, рассказывает эксперт BetaOnline.

Какие бывают данные и как их собирают

Собирать их можно несколькими способами.

Ручной метод — ручной сбор данных из CRM-системы или инструмента web-аналитики, рекламных PPC-каналов, физических и цифровых носителей, без использования автоматизированных инструментов.

Плюс ручного сбора, по сути, один — можно получить данные, которые невозможно выгрузить, например, информацию со скриншотов и других изображений.

Всё остальное — это минусы: скорость сбора (долго), объём трудозатрат (большая рутинная работа), качество данных (сложно избежать ошибок ввода).

В Excel и Google Sheets — сбор данных в программе для работы с электронными таблицами.

Плюсы: процесс становится быстрее и эффективнее, данные можно выгружать из рекламных кабинетов непосредственно в интерфейс программы и обрабатывать, строя графики и сводные таблицы.

Минусы: загрузка данных всё же занимает время, а обработка ведётся вручную и требует знания формул, умения работать со сводными таблицами строить графики.

Автоматизированный сбор данных — процесс автоматизированного сбора данных из CRM или других источников. На принципе автоматического и непрерывного сбора данных строится сквозная аналитика.

Плюсы: данные автоматически агрегируются из множества источников.

Минусы: нужен специалист для настройки, проверки, анализа качества данных, и его работа стоит дорого. Из некоторых источников автоматический экспорт невозможен, приходится использовать специальные коннекторы, при работе с которыми данные могут передаваться некорректно.

Очевидно, что автоматизированный способ наиболее эффективен. Хотя на практике чаще всего выстраивается гибридная система, при которой ручная работа заполняет участки, где не удаётся автоматизировать процесс. В обоих случаях, чтобы получить максимально полную и точную картину, необходимо правильно настроить передачу данных, учитывая все тонкости и вероятные слабые места.

Главные ошибки при настройке сквозной аналитики в HR

Сквозная аналитика — это система сбора данных, необходимая для анализа HR-метрик. Её основная задача — свести все данные в одно место и проследить путь каждого кандидата от первого клика или отклика до момента трудоустройства.

Сквозная аналитика — сложная система, включающая большое количество данных. Основываясь на большой накопленной практике, своей и своих клиентов, мы собрали список самых распространённых ошибок, возникающих при настройке и использовании системы аналитики.

Распространённая ошибка — отсутствие уникального ID отклика по каждому источнику трафика, когда данные привязываются к номеру телефона. В результате все источники данных «склеиваются» вокруг номера, поэтому невозможно отследить, какой из источников привёл лид.

Учтены не все источники трафика: из одних источников передали инфу, из других нет. Мы получаем неполную картину и не можем реалистично оценить эффективность разных каналов.
Многие источники трафика не имеют открытого API, и выгружать отклики приходится в ручном режиме. Это приводит к задержкам в передаче данных в общую систему аналитики, которые в свою очередь вызывают ошибки в анализе данных.

Данные нужно не только собирать, но и следить за их качеством. Для этого необходимо настроить мониторинг качества данных, которым нередко пренебрегают — и это серьёзная ошибка. Об этом мы поговорим подробнее ниже.

Неверно ориентироваться только на данные кабинетов web-аналитики, таких как Яндекс Метрика. В них не отражена воронка и нет многих источников данных — поэтому нельзя сделать вывод о конверсии и эффективности разных каналов.

Почему целевое действие в Яндекс Метрике нельзя приравнивать к лиду в CRM?

Во-первых, не всегда срабатывание сценария целевого действия приводит к отправке лида в CRM-систему из-за ошибок на ресурсе сбора данных, например, на сайте компании.
Во-вторых, из-за настроек внутренней дедупликации CRM-системы часть лидов склеиваются между собой. В этом случае, если кандидат неоднократно откликался на вакансию, то в Яндекс Метрике мы увидим несколько конверсий, а в CRM — только одну анкету.

Такие расхождения мешают провести качественную аналитику.

Главные ошибки при работе с данными

Настроив систему сквозной аналитики, переходим к работе с ней. И здесь допускается немало ошибок, связанных как с техническими нюансами, так и с человеческим фактором.

Ошибки сбора данных

Данные не содержат источники откликов. В базе данных нет поля «источник» или оно не заполняется — это значит, что мы не можем анализировать эффективность каждого канала и принимать решения по дальнейшей стратегии. Нам важно отслеживать все касания кандидата со всеми рекламными источниками.

Не поддерживается актуальность данных при ручной выгрузке. В идеале их нужно выгружать в режиме реального времени, более реалистичное требование — каждый час или максимум каждый день. Делать это раз в неделю бессмысленно.

Данные агрегируются в разных форматах. Чтобы свести в единый дашборд цифры из разных систем, все поля нужно привести к единому виду. Элементарные разночтения — когда одни дроби записаны с запятой, а другие с точкой, — не дадут корректно сопоставить эти данные.

Данные не защищены, что может привести (и рано или поздно приведёт) к их утечке.

Ошибки анализа данных

Не учитываются источники, участвующие в цепочке привлечения кандидата. Например, часто фиксируют только первый или последний источник, из которого пришёл отклик. Однако на деле каждый рекламный источник вносит свой вклад, и его важно оценивать.

Стоимость привлечения кандидата оценивается без учёта конверсии в наём. Как правило, самые дорогие каналы трафика приводят лиды с самой высокой конверсией. Если не учитывать конверсию, можно отказаться от канала из-за высокой стоимости и в результате потерять хороший источник.

Не учитываются особенности рекламных каналов. Многим PPC-каналам требуется время на то, чтобы разогнаться. Отключив их слишком быстро, мы просто не дадим им шанса выйти на референсный объём и качество трафика.

Не используются дашборды и ключевые метрики для оценки рекламных источников: дашборд по объёму трафика, стоимости привлечения, конверсии в различные этапы воронки. Все эти данные помогают визуализировать общую картину, оценивать разные источники и принимать решения по дальнейшей стратегии.

Как ошибки портят аналитику: примеры из практики

Оценить влияние ошибок HR-аналитики проще всего на реальных примерах. Рассмотрим самые распространённые кейсы.

Некорректные данные поля «Источник»

Представим, что в CRM-системе не настроена автоматическая передача источника отклика. Обрабатывая поступивший лид, рекрутер должен заполнить это поле вручную. Но в ходе собеседования он забывает задать этот вопрос соискателю и ставит случайный ответ. В результате лид, который на самом деле пришёл из контекстной рекламы Яндекса, помечен как лид из job-борда, и это фиксируется в аналитике. Такие ошибки копятся, мы получаем совершенно необъективную картину, и вся стратегия, которая на нее опирается, заведомо провальна.

Ошибка CRM при определении «Источника отклика»

Представим, что человек увидел рекламу вакансии в социальной сети ВКонтакте, кликнул по ней, перешёл на сайт компании и оставил заявку. По идее, в системе учёта данных (CRM) должно отобразиться, что заявка пришла с рекламы во ВКонтакте.

Но иногда в этих системах есть ошибка: все заявки с сайта записываются как пришедшие просто с сайта, без уточнения, что человек пришёл из рекламы. Из-за этого кажется, что реклама не работает, потому что в отчётах по рекламе нет заявок. В результате компания может решить, что реклама неэффективна и перестать в неё инвестировать, хотя на самом деле она могла привести много кандидатов.

Ручная дедупликация

Ещё один пример ошибки определения источника. Сегодня утром пришёл лид от Васи Пупкина из рекламы Яндекса. Завтра Вася откликнулся ещё раз, но уже с сайта работодателя. Ещё через неделю — из таргетированной рекламы ВК. Вася очень хотел работать и в конце концов вышел на должность курьера, мы за него рады. Но перед нами встаёт сложность: к какому источнику отнести в заслуги его трудоустройство?

Для этого придумана система дедупликации, которая должна склеить отклики Васи в одну карточку (или, как часто называют, «сделку») и определить, что он трудоустроился из источника под номером 1.

Если дедупликация настроена правильно, то она учитывает этапы сделки, на которых находился Вася в момент каждого отклика. Например, первый раз до Васи не дозвонились — это так называемый «закрытый» этап воронки. Такой источник будет заменён другим, соответствующим второму отклику с открытым этапом, например, «Приглашён на собеседование». Когда сделка перешла на открытый этап, третий поступивший лид уже не сможет перетереть источник, потому что по Васе уже ведётся активная работа по трудоустройству. Лид нужно засчитать тому источнику, на котором процесс пошёл.

Это идеальный сценарий. Но зачастую склейка дублей происходит руками непосредственно в CRM или даже в Excel, если не настроена интеграция данных из разных источников. Такая склейка устроена по упрощённому принципу: какой лид последний, тот источник и засчитаем. Либо наоборот — чей первый, тому и запишем.

При ручной дедупликации практически невозможно выставить источник согласно активной/неактивной стадии сделки. Это отнимет слишком много времени у рекрутера, а иногда он вовсе не видит разные отклики по одному номеру. Такое решение в корне неверно — оно ведёт к искажению картины конверсий по источникам и принятию неверных решений для бизнеса.

Чтобы строить объективную аналитику, нам нужно учитывать все источники для каждого касания — и при этом правильно засчитывать лид с учётом закрытого/открытого этапа. Важно продумать и настроить систему приоритизации, которая позволит оценивать вклад каждого источника.

Дополнительная сложность состоит в том, что такую задачу трудно решить без экспертизы и насмотренности в MarHR.

Финансовые последствия технически неграмотной HR-аналитики

Оценка источника трафика без учёта стоимости трудоустроенного. Источники оцениваются, например, по объёму трафика и процентам отказов (или недозвонов, самоотказов и так далее). Клиент видит, что трафика меньше, чем из других источников, приглашаемость хуже. Но не оценена самая важная для бизнеса метрика — стоимость привлечения. Тогда как по факту оказывается, что конверсия даже с учётом отказов — самая высокая и стоимость привлечения ниже, чем из других каналов. Таким образом, набор параметров может быть разным, но оценивать канал только по конверсиям без учёта стоимости привлечения нельзя.

Данные анализируются в отрыве от воронки. Специалист работает только в системах веб-аналитики, где нельзя увидеть воронку и отследить движение кандидата по этапам. Но принимать решение только по кликам и расходам из Яндекс Метрики неправильно, так как стоимость отклика — не бизнес-метрика. Нужно ориентироваться на стоимость трудоустроенного, а её вы не видите без воронки.

Оценка данных по источнику в совокупности, без разбивки на метки utm_campaign. Разные кампании в одном источнике могут работать с совершенно разной эффективностью — это нужно отслеживать, анализировать и правильно интерпретировать. Решение по всему каналу, принятое без разбивки на кампании, не будет объективным. Одна кампания может потратить 10% бюджета канала и принести 90% трудоустройств, а другая — слить все деньги. Говорить о том, что этот канал плохой — некорректно.

Не учитывается сезонность при выстраивании стратегии. Например, клиент заложил 1 000 000 на продвижение в Яндексе и хочет получить 100 трудоустроенных. Но рекламу запустили в несезон, стоимость лида оказалась выше стоимости сезона. Потребность не закрыта, время потрачено, ресурсы израсходованы. Канал отключен, хотя в другое время он может отработать гораздо лучше.
Не учитывается инфляция. Нередко компаниям хочется заложить бюджет, исходя из стоимости лида в прошлом году, — но так не бывает. И даже по официальным данным об инфляции прогнозировать стоимость клика/лида не стоит — реклама не входит в потребительскую корзину и имеет другие цифры инфляции. Нельзя отключать каналы как слишком дорогие, оценивая их в сравнении с прошлогодними цифрами.

Плохо настроены рекламные кампании. Пытаясь сэкономить, компании нередко поручают настройку кампаний непрофильным специалистам — и логичным образом получают плохие результаты просто из-за ошибок в ведении РК. Потратив деньги и время впустую, отказываются от этого источника, хотя с привлечением профессионалов можно было получить совсем другой результат.

Данные могут быть вовсе недостоверными. Так случается, если есть огрехи в настройке сквозной аналитики или ошибки в обработке данных как в ручном, так и автоматическом режимах. Например, половина статусов «Неактуально» проставлена кандидатам, которые уже проходят собеседование.

Почему мониторинг качества данных — это важно

Думаем, мы убедились, что все выводы должны строиться исключительно на точных данных. Но зачастую проверить достоверность данных в системах аналитики затруднительно.

Например, расход на конкретный рекламный инструмент может быть оценён некорректно, что приведёт к неверному стратегическому решению. Данные о кандидатах могут вовсе не передаваться в систему аналитики из-за ошибок сервисов по интеграции или API.

Какие ошибки возникают при неправильной подготовке данных

Для примера рассмотрим импортирование данных из нескольких источников в одну таблицу: условно, выгрузки из Яндекс Директа и из CRM-системы за определённый период.

Столбцы в этих таблицах имеют разные названия и порядок. Для объединения данных нужно привести данные к единому формату: везде разделитель дробей — запятая, столбцы с данными идут в определённом порядке и соответствуют формату записанных в них данных.

Ещё одна распространённая ошибка — неправильный нейминг данных. Представим, что есть три таблицы. В одной агрегируются расходы рекламного источника, в другом — основные показатели рекламного канала, в третьей — воронка. Мы хотим объединить все данные в один массив и построить отчёт по эффективности канала.

Как объединить эти данные? Кажется логичным объединить по значению в столбце «Канал» и притянуть данные из других таблиц.

Логично, но неправильно, потому что во всех таблицах каналы названы по-разному. К чему приведёт такая ошибка: либо данные собрать не получится и таблица выдаст ошибку, либо большая часть данных не подтянется и получится ситуация, когда по каналу есть только расход и клики — а конверсий и трудоустройств нет. Данные с расходами затёрлись.

Это максимально упрощённый пример, где есть только один канал, без даты, времени, недели, месяца, и очень скудный набор информации. Если данных будет больше — возможность совершения ошибки на этапе пропорционально возрастает.

Мониторинг качества данных

Если в редких случаях такие ошибки можно заметить при ручной обработке и анализе, то при автоматической выгрузке и обработке данных из десятка источников в систему аналитики — практически невозможно. Для предотвращения проблем необходима система мониторинга качества данных.

Мониторинг качества данных — это процесс систематического наблюдения за данными, их анализа и проверки на соответствие установленным стандартам и требованиям.

Его цель — обеспечение точности, полноты, актуальности и достоверности информации, которая хранится и используется в организации. Он позволяет выявлять ошибки, дубликаты, пропуски и другие недочёты в данных, получая возможность в полной мере использовать data-driven-подход в HR-индустрии.

Настройка мониторинга — довольно сложный технический процесс, состоящий из нескольких этапов: от выбора инструментов и определения KPI до настройки уведомлений и форм отчётности. В результате должен появиться многоэтапный процесс проверки данных по многим параметрам: актуальности, консистентности, уникальности, структуре.

Чем может помочь BetaOnline

Сбор качественных данных и всесторонняя аналитика — необходимое условие получения релевантных оценок и выводов. Но стоит иметь в виду, что даже если все данные корректны и репрезентативны, построены графики и наглядно видны целевые показатели — data-driven-подход не может полностью заменить профессиональный багаж и интуицию. Иногда для принятия решений важно учитывать контекст и грамотно связывать его с данными.

Подведём итог.

В серьёзной конкурентной борьбе за соискателя как никогда важны качество и скорость принятия решений. Data-driven-подход позволяет на основе данных принимать рациональные управленческие решения. Но просто собирать множество данных, хороших и разных, недостаточно: нужно научиться грамотно с ними работать, уметь правильно интерпретировать, не бояться экспериментировать, анализировать и оценивать (цикл HADI).