Чем болеют кейс-конференции в digital?

«Притянутые за уши» кейсы

Студентам технических вузов хорошо знаком предмет «Теория вероятностей и математическая статистика». На одной из моих первых лекций по данному предмету преподаватель решил наглядно продемонстрировать смысл изучаемой дисциплины на примере простого эксперимента. Каждому студенту было предложено подбросить монетку и сесть за парту только в том случае, если выпадет «решка». Тому, у кого выпал «орел», необходимо было подбросить монетку ещё раз.

После того, как процедуру повторили ещё 4 раза почти все участники эксперимента сидели за партами, кроме нескольких человек. Результаты этого несложного эксперимента легко просчитываются по базовым формулам теории вероятностей, учитывая, что в аудитории находилось около 200 человек, а вероятность выпадения «орла» при каждом из 5-и подбрасываний составляет 50%.

Эффективная и выгодная реклама с сервисом от МегаФона

Широкий выбор рекламных каналов, более 100 параметров по интересам, подробная аналитика и другие возможности уже ждут в Личном кабинете. А еще кешбэк 100% за запуск рекламы в первый месяц и еще 10% — каждый месяц.

Узнать больше >>

Реклама. ПАО «МегаФон». ИНН 7812014560. ОГРН 1027809169585. ERID LjN8K1P7y.

Многие докладчики, выступая на сцене digital-конференций, забывают о базовых принципах теории вероятностей. Например, какой-то продолжительный период времени они выполняют свою работу по типовой, отработанной годами схеме, получая такие же типовые результаты.

На одном из проектов их действия приводят к совершенно неожиданному результату — поисковый трафик на сайте за 3 месяца вырос в 5 раз или CTR объявлений в течение месяца поднялся до 50%. Ничего удивительного — один раз в год даже палка может выстрелить.

Но, получив нетипичный результат, его начинают тиражировать в качестве работающего решения и продвигать на различных площадках. В название кейса добавляются термины: «Big Data», «реверс-инжиниринг поисковых алгоритмов», «SEO 5.0», а методика работы объявляется новым словом в цифровом маркетинге.

К сожалению, большинство «прорывных» кейсов, с которыми приходилось сталкиваться на digital-конференциях, — это описание единичного результата. Докладчик не озвучивает, где применялась данная методика, какие были достигнуты результаты и как это решение масштабировать.

Непонимание природы причинно-следственных связей

В одной из книг по статистике рассматривается интересный пример, который очень ярко описывает данную проблему. В начале 2000-х годов британские учёные провели исследование с целью определить, как путешествия влияют на здоровье и качество жизни людей.

Для сравнения взяли большую группу людей из Германии в возрасте 60+ и такую же группу из России схожего возраста. На входе эксперимента обратили внимание на то, что путешествующих пенсионеров в Германии намного больше, чем российских. После полугода исследований британские ученые с гордостью заявили: путешествия являются панацеей от всех болезней и самым благоприятным образом сказываются на настроении и мироощущении человека.

Учёные не обратили внимания на то, что качество жизни пенсионеров в России и Германии, а также уровень социального обеспечения в этих странах настолько отличаются, что их выборка никак не является репрезентативной. В большинстве случаев состояние здоровья российских пенсионеров значительно хуже, чем у пенсионеров из Германии, даже если они ни разу в жизни не выезжали за пределы своего округа в Баварии.

В данном исследовании два коррелирующих между собой фактора (количество путешествий и состояние здоровья) выданы за причину и следствие. Человеку, владеющему базовой логикой, очевидно, что наличие корреляции далеко не всегда является достаточным основанием для того, чтобы делать однозначные выводы.

Тем не менее, складывается ощущение, что часть докладов на digital-конференциях подготовлены теми самыми британскими учеными. Например, один из спикеров в своём докладе авторитетно заявлял, что одностраничные сайты, которые содержат в заголовке страницы 3 слова, ранжируются лучше, чем аналогичные сайты с заголовком из 2-х или 4-х слов.

В своём исследовании эксперт оценивал выборку по большому количеству одностраничных сайтов, по которым каждый день на протяжении определённого периода проводился замер позиций продвигаемых запросов. Вся выборка была разбита на кластеры в зависимости от количества ключевых слов в заголовке страницы.

Так как по истечении периода наблюдений кластер, в который входили сайты с заголовками, состоящими из 3 слов, показал лучшую динамику, был сделан вывод: именно такое количество слов в заголовке является оптимальным для максимального роста позиций в поисковой выдаче. Тот факт, что на ранжирование каждого из сайтов в поиске влияют сотни факторов, спикер предпочел не озвучивать.

Также он никак не комментировал, проводилась ли контрольная проверка результатов исследования на тестовой выборке с целью подтвердить или опровергнуть данный результат.

В лучшем случае — это просто преднамеренный обман аудитории с целью саморекламы. В худшем — эксперты на самом деле верят в то, что они получили некое секретное знание, которое позволит им эффективно проводить рекламные кампании. Они активно используют на практике свои методики, основанные на ошибочных выводах, чем наносят прямой финансовый ущерб своим клиентам.

Эту особенность человеческого сознания очень ярко высмеял Умберто Эко в романе «Маятник Фуко»:

«...С цифрами вообще можно делать что угодно. Если у меня имеется священное число 9, а я хотел бы получить 1314, то ... что я делаю? Умножаю на 146 (это роковой год разрушения Карфагена). Как я пришел к этому результату? Я делил 1314 на два, на три и так далее, до тех пор покуда не отыскал подходящую дату. Я бы мог поделить 1314 и на 6,28, что составляет собой удвоение 3,14, и пришел бы к цифре 209. Ну что ж, в этот год примкнул к антимакедонской коалиции Аттал I, царь Пергама. Годится?...».

Отсутствие базовых познаний в точных науках

Эту проблему можно рассмотреть на примере цифр, которые ежегодно озвучивают органы статистики о размере средней заработной платы в стране. Показатель средней заработной платы не зря сравнивают со средней температурой по больнице, т.к. эта величина является абсолютно неинформативной и не позволяет делать какие-либо выводы. Почему?

В стране есть люди, зарплаты которых варьируются в очень широких пределах. Для подобных неравномерных распределений гораздо более показательным является медианное значение, а также данные о том, какое количество людей попадает в определённый диапазон значений заработной платы. Но, если государственные органы в своих исследованиях вынуждены следовать утвержденной методике подсчёта, то кто заставляет так поступать Digital-специалистов?

В 90-х годах было принято считать, что маркетолог — профессия сугубо гуманитарная, т.к. в эпоху активного развития рынка офлайн-рекламы потребности в применении знаний теории вероятностей не было.

Но времена меняются, бюджеты всё больше перетекают в онлайн-каналы. Сегодня обычный специалист по маркетингу уже не так востребован, как специалист, способный быстро переквалифицироваться в интернет-маркетолога. Интернет, как рекламный канал, позволяет проводить замеры и считать результаты проведенной работы.

Но чтобы получить максимальную эффективность на единицу потраченного бюджета, необходимо тщательно анализировать все показатели рекламной кампании. А вот здесь уже и требуются интернет-маркетологу знания точных наук.

Как минимум, необходимо понимать разницу и особенности применения медианного и среднего значения, понимать, что такое статистическая мода и перцентиль, а также легко ориентироваться в базовых принципах математической статистики.

Для профессионального подхода неплохо было бы понимать принципы кластеризации групп клиентов по определённым признакам, уметь прогнозировать временные ряды и на базовом уровне владеть скоринговыми методиками оценки.

К сожалению, многим спикерам digital-конференций чужды точные науки. Достаточно часто приходится встречать масштабные выступления, построенные полностью на ошибочных выводах.

Расчёт показателей ведётся «на глазок» или просто используются шаблонные формулы без понимания того, когда какую формулу или методику расчёта рекомендуется применять. В результате мы получаем внушительные презентации, переполненные красивыми графиками и умными формулами. При этом ценность таких презентаций с точки зрения практического применения — минимальная.

В завершение

Начинающим и уже практикующим спикерам хотелось бы порекомендовать уделять больше внимания данным, которые они предлагают широкой аудитории.

Хорошим подспорьем может стать книга «Голая статистика» Чарльза Уилсона, которая простым языком рассказывает о сложных вещах. Лучше подготовить один эффектный, запоминающийся доклад, чем регулярно появляться перед аудиторией с не примечательными выступлениями.

Не стоит культивировать какую-то одну, пусть и кажущуюся гениальной, идею. Даже если вам кажется, что вы совершили прорыв в мире digital — не спешите объявлять первые полученные результаты открытием.

Интересных вам конференций и ярких выступлений!

Мнение редакции может не совпадать с мнением автора. Если у вас есть, что дополнить — будем рады вашим комментариям. Если вы хотите написать статью с вашей точкой зрения — прочитайте правила публикации на Cossa.