Восстание машин: как DSP ведут войну с ботами и бот-трафиком

В предыдущей статье мы рассмотрели системы эффективной фильтрации трафика на уровне рекламной кампании. Сегодня в нашем заключительном эпосе поговорим о ключевых programmatic-платформах и о том, какие методы они используют для защиты от вездесущих ботов.

Начнём обзор с DoubleClick Bid Manager. Поскольку в нашем предыдущем материале мы не упомянули о возможностях DCM (DoubleClick Campaign Manager), на что обратили внимание читатели, мы расскажем о системе в этой статье.

Эффективная и выгодная реклама с сервисом от МегаФона

Широкий выбор рекламных каналов, более 100 параметров по интересам, подробная аналитика и другие возможности уже ждут в Личном кабинете. А еще кешбэк 100% за запуск рекламы в первый месяц и еще 10% — каждый месяц.

Узнать больше >>

Реклама. ПАО «МегаФон». ИНН 7812014560. ОГРН 1027809169585. ERID LjN8K1P7y.

Но для начала посмотрим, что вообще предпринимает Google для решения проблемы фродового трафика.

В конце июля на портале Business Insider был опубликован отчёт о секретном тесте Google вместе с рекламодателями, который наглядно продемонстрировал масштаб проблемы. Позже Google поддержал инициативу IAB (Interactive Advertising Bureau) о внедрении решения ads.txt.

Не будем подробно останавливаться на механике его работы, но заметим, что на данный момент мы не видим большого ажиотажа вокруг внедрения ads.txt не только у российских паблишеров, но даже у американских коллег. Поэтому вернёмся непосредственно к DSP и посмотрим, что в своём арсенале имеют DBM и DCM для защиты от ботов.

Ещё в 2014 году компания DoubleClick приобрела «стартап» Spider.io, который специализируется на распознавании накрутки рекламными кликами, и внедрила его технологию во все свои продукты.

Внутренняя технология Google и Spider.io — это как раз основная защита от фрода в продуктах DoubleClick. Показы и клики, которые были расценены как «invalid», не попадают в общий отчёт и не оплачиваются рекламодателем. Более того, DCM постоянно накапливает свою базу некачественного трафика и исключает его из размещений ещё на этапе pre-bid.

Однако, несмотря на все уровни защиты, по нашему опыту можем сказать следующее. Если верифицировать трафик, закупленный с помощью DBM (впрочем, как и любой другой DSP), и при этом использовать системы, о которых мы писали в нашей предыдущей статье, то определённый процент ботов будет присутствовать в каждом размещении.

Вполне возможно, это связано с разными методологиями выявления фрода у различных систем. Поэтому для улучшения результата могут помочь сторонние сервисы, которые можно найти в DBM в разделе targetings — Brand Safety.

Во всех аккаунтах DoubleClick Bid Manager на данный момент есть опция подключения дополнительной защиты от DoubleVerify и Integral Ad Science. Относительно недавно к ним присоединилась компания Adloox, и мы не упустили шанса протестировать её возможности для одного из наших клиентов.

Суть теста заключалась в том, что на двух параллельно идущих баннерных кампаниях в DBM были установлены счётчики для определения процента ботов в этих размещениях. Однако лишь для одного из них была подключена дополнительная фильтрация от Adloox. В итоге мы получили следующие результаты:

Итак, даже при двойной защите нам не удалось свести процент фрода к нулю. С другой стороны, за счёт подключения дополнительной фильтрации от Adloox мы смогли снизить этот показатель почти в два раза при прочих равных условиях — значит, можно считать, что тест прошел успешно. Ну а мы планируем и дальше использовать эту надстройку для максимального очищения закупаемого трафика через платформу DBM.

В то же время необходимо отметить, что 98% всего фрода Adloox классифицирует как Adware (вредоносное программное обеспечение, заражающее компьютер/девайс с целью фейковых показов рекламы во время его работы), что, скорее, относится к аудитории, нежели к трафику.

А количество показов, которое приходится на категорию Botnet (серверы/машины, созданные для искусственной накрутки трафика) составляет менее 1%. Также следует отметить, что, судя по проведённому тесту, базовые антифрод-инструменты от Google позволяют держать качество трафика из open RTB на уровне как минимум не хуже, чем у крупных медийных площадок.

Платформа MyTarget также старается не отставать от коллег и активно работает над проблемой. В июне этого года компания Mail.Ru Group объявила, что независимый аудит от MOAT будет доступен всем рекламодателям в myTarget. Что касается внутренней защиты платформы, то она работает следующим образом.

Рекламная система в момент регистрации оплачиваемого события запускает процесс фильтрации, который обрабатывает характеристики события, и только после завершения обработки запускает биллинг и регистрирует списание.

В процессе обработки алгоритм анализирует оплачиваемые типы событий (показ/клик/конверсия) в зависимости от выбранной модели закупки на соответствие таким признакам как:

• наличие пользовательского идентификатора;
• время события не раньше времени запроса;
• время события в пределах допустимой разницы с временем запроса;
• и другие.

Полный список факторов компания не раскрывает, чтобы не облегчать задачу злоумышленникам и на опережение совершенствовать защиту рекламодателей.

В процессе обработки часть событий фильтруется и не транслируется в статистику рекламной системы — например, повторные клики. Таким образом, все оплачиваемые события, учтённые в статистике по решению MyTarget, являются действительными.

Система антифрода в «Яндексе» была разработана прежде всего для «Яндекс.Директа», но на этих же принципах происходит фильтрация трафика и в «Яндекс.Display».

Технология антифрода в «Яндексе» — это система фильтрации некачественного трафика, где на разных уровнях отсеиваются разные типы фрода, от простого к сложному:

Шаг 1. Защита от роботов в режиме реального времени. На верхнем уровне воронки автоматически отсеиваются все очевидные и простые боты. Методологию их вычисления «Яндекс» не раскрывает ровно по той же причине, что и Mail.ru — чтобы не упрощать работу злоумышленникам.

Шаг 2. Онлайн-фильтрация, работающая на базе технологии машинного обучения «Матрикснет». Эта система анализирует каждый клик, сверяясь со списком из 250 различных характеристик. При анализе учитываются сиюминутные признаки (время суток, сезон, география клика и так далее), а также некоторые события до клика и типичные паттерны поведения, которые свойственны людям и «человекообразным» роботам.

Шаг 3. Офлайн-анализ поведения пользователей. Благодаря первым двум шагам фильтрации львиная доля некачественного трафика отсеивается до того, как успеет повлиять на статистику и деньги рекламодателей. Но на этом работа антифрода не заканчивается: весь трафик проходит через дополнительные офлайн-фильтры.

Если в момент клика «Яндекс» анализирует разные типы данных по отдельности (домен, запрос, регион и так далее), то на следующих этапах можно объединить все эти факторы и увидеть картину целиком, построив граф поведения пользователей.

Аномальные уплотнения на графе сигнализируют о том, что пользовательское поведение отличается от нормы, и помогают обнаружить сложные случаи фрода. Система антифрода использует распределённые алгоритмы кластеризации данных и каждый день изучает порядка 4 000 000 000 событий.

Но даже имея такую серьёзную фильтрацию, коллеги из «Яндекса» признают, что гипотетически возможно обойти любую защиту, и мошенники постоянно модернизируют свои инструменты. Тем не менее «Яндекс» обещает вернуть деньги каждому рекламодателю, в случае если компания признает, что клики были недействительными.

Обзор других игроков programmatic-экосистемы, с которыми ADV Digital имеет партнёрские отношения, мы решили объединить, так как общие принципы и методы борьбы с фродом у них примерно одинаковы. Само собой про «изюминки» каждой DSP мы расскажем отдельно.

Так, в основе защиты Soloway лежат измерения Adriver, которые в свою очередь базируются на положениях «Interactive Audience Measurement and Advertising Campaign Reporting and Audit Guidelines» от IAB в несколько более жёсткой версии, адаптированной под отечественные реалии.

Антинакрутка — это комплекс алгоритмов, предназначенный для борьбы с искусственным увеличением количества показов и кликов на сайте. Большая часть этих алгоритмов является know-how компании и не разглашается. Система блокирует попытки накрутки счётчиков по списку IP-адресов и по значению user-agent.

Коллеги из Mediasniper, со своей стороны, имеют внутренний сервис фильтрации подобного трафика. Сервис представляет собой нейросеть, обучающуюся на пользователях, которых они считают роботизированными (с наличием аномального критерия поведения): слишком высокий CTR, аномальное время активности на сайте, подозрительные user agents и тому подобное.

В результате была создана внутренняя модель фильтрации ботов, на основе которой каждому пользователю присваивается индекс человечности. В соответствии с ним принимается решение о целесообразности осуществления показа «аномальному» пользователю.

Лично мы считаем плюсом, что, в отличие от большинства DSP, MediaSniper не скрывает результаты своей работы «под капотом», а выводит в интерфейс системы интересные настройки:

Здесь всё просто: если вам нужны дешёвые клики, то смело активируйте первую опцию, если же вы хотите размещение, ориентированное на живых людей, то придётся заплатить больше. Ну и всё это, естественно, на основе данных от MediaSniper.

Мы не очень верим в прямую зависимость между процентом живого трафика на сайте и post-click показателями в аналитике — ведь как мы уже говорили, боты могут полностью моделировать поведение реальных людей.

Тем не менее протестировать эти настройки и замерить post-click было интересно. По итогам теста мы получили по стратегии «почти 100% боты», CPC примерно в 4 раза ниже по сравнению со стратегией «ботов меньше 1%», однако показатели в Google Analytics были заметно хуже. При этом по показателю «стоимость за неотказавшегося пользователя» (100%-BR) статистика всё-таки в пользу «ботов».

Коллеги из Hybrid используют двухфакторную фильтрацию фрода:

1. Анализ площадок с помощью алгоритмов Forensiq.

Forensiq анализирует площадки, с которых поступают bid requests, на основании чего выдаёт так называемый Risk Score (процент фрода на площадке). Площадки, у которых RS выше 70%, автоматически попадают в глобальный чёрный список, и реклама на них не показывается.

2. Регистрация фрода с помощью алгоритмов Hybrid DSP.

Здесь в ход идет целый список параметров, при которых засчитываются показы/клики.

• Должен быть выполнен правильный порядок действий (ставка → показ → клик). Если клик проходит без показа, или порядок действий нарушается — это фрод.

• Если у пользователя отсутствуют cookies в браузере — это тоже фрод.

• Показ должен быть произведён сразу после ставки. Иначе — ну вы поняли.

Всё, что входит в глобальный чёрный список, не участвует в аукционе. Список содержит домены, User ID, Device ID и постоянно пополняется на стороне DSP.

Перейдём к GetIntent, с которыми у нас достаточно давние партнёрские отношения, в связи с чем мы были одними из первых, кто протестировал их антифрод-защиту в своих рекламных кампаниях.

GetIntent также выводит в интерфейс статистики не все клики, а только те, которые не попали в категорию «аномальные клики». Общий принцип антифрод-защиты похож на Hybrid и так же состоит из двух частей: использование стороннего партнёра и внутренняя фильтрация GetIntent.

Название компании-партнёра коллеги из DSP просят не раскрывать, однако вы всегда можете уточнить это у своего аккаунт-менеджера. Скажем лишь, что партнёрский сервис используется для фильтрации фрода на этапе pre-bid.

Сами же Getintent в основном вылавливают именно технический фрод, который реально обнаружить простыми методами (разные user id в реквесте и респонсе, дубликации с одного ip, база кликающих, но не доходящих до сайта).

Бо́льшая часть анализа происходит уже после клика, поэтому фрод попадает на сайт, однако такой трафик не оплачивается рекламодателем. По нашей экспертизе (и коллеги на стороне DSP солидарны с нами) можем сказать, что процент аномальных кликов в GetIntent зависит от модели закупки (при CPC-закупке доля некачественного трафика обычно выше, чем при CPM) и величины ставки.

Соответственно, чем ниже мы ставим цену, тем больше GetIntent фильтрует кликов, а это может быть причиной сильного расхождения в статистике между DSP и Google Analytics.

Эта гипотеза подтвердилась в нашем тесте, в рамках которого мы запустили кампанию сначала по CPC с дешёвым кликом, а затем перешли на CPM-модель закупки, а также провели оптимизацию по таргетам, собрав аналитику из системы Botscanner.

В рамках оптимизации мы настроили более жёсткий Viewability, оставили SSP только с российским трафиком, исключили blacklist и в результате получили прирост по показателю «индекс качества» (по Botscanner) на 65%.

В рамках же второго теста мы использовали антифрод-защиту от GetIntent (подключалась по запросу) и сравнили полученные результаты с абсолютно идентичным размещением, но без подключения антибота. При этом размер ставки и прочие таргеты не меняли. По результатам за счёт антифрод-инструмента мы получили существенное улучшение следующих показателей (в относительных величинах):

• Viewability +27%;
• Страниц/сеанс +32%;
• BR-улучшение +64%;
• Индекс качества +10%.

Конечно, мы никогда точно не узнаем, кого мы действительно исключили из размещения, но так как это дало реальный прирост в показателях качества, мы остались довольны.

Не стоит и говорить, что это всего лишь один тест, по которому некорректно было бы делать большие выводы. Однако мы верим, что с каждым проведённым тестом наша экспертиза в этом вопросе растёт и и мы делаем ещё один шаг навстречу чистому трафику для наших клиентов.

Вывод

Что ж, кажется, нам удалось охватить все стороны столь непростого и многогранного процесса, как борьба с ботами: в нашей первой статье мы рассказали читателям о том, как вычислить ботов с помощью Google Analytics; во втором материале поделились собственным опытом верификации трафика и познакомили вас с различными сторонними сервисами; в текущей же статье вы узнали о том, какие решения проблемы существуют на стороне DSP.

Надеемся, наше руководство было исчерпывающим и помогло вам понять, что хотя войну с ботами нельзя выиграть окончательно, вести её необходимо, чтобы в будущем свести потери времени, трафика и рекламного бюджета к минимуму.

Just keep smiling and... stay alert!

Мнение редакции может не совпадать с мнением автора. Ваши статьи присылайте нам на 42@cossa.ru. А наши требования к ним — вот тут.