Высокоточные рекомендации: как ИИ меняет взаимодействие с контентом

Илья Лысенко, Data Science Product Lead компании Hybrid, поделился ключевыми аспектами развития ИИ-систем.

На пути к идеальным рекомендациям

Рекомендательные алгоритмы — неотъемлемая часть платформ стриминга и e-commerce. Их задачи включают анализ поведения пользователей, предпочтений и контекста для выдачи релевантных советов. Однако эффективность таких решений ограничена.

Например, книги проще классифицировать: предпочтения зависят от одного читателя. С видеоконтентом сложнее: фильмы часто просматриваются в компании, где предпочтения каждого зрителя могут кардинально отличаться. Добавьте редакторскую модерацию, требования правообладателей и бизнес-цели платформы — все это усложняет задачу создания универсальных рекомендаций.

Применение ИИ для оценки поведенческих особенностей пользователей — проблема сложная, и с ней сегодня знакомы многие. Например, разработчики онлайн-кинотеатров, стриминговых платформ и других сервисов, которые оценивают поведение и предпочтения.

Идеала не существует — различные ML-модели по-разному оценивают поведение пользователей, используют собственные алгоритмы анализа и работают с разной результативностью.

Мы находимся на начальном этапе развития систем оценки поведения пользователей, когда активно проводятся эксперименты и тестовые внедрения. Иными словами — такие системы уже существуют, но значительного влияния на бизнес они пока не оказывают.

И для того, чтобы благодаря таким решениям, бизнес начал получать ощутимую пользу, они должны серьезно развиваться дальше. В первую очередь с точки зрения совершенствования интеллектуальных моделей, которые оценивают поведение и предпочтения пользователей.

Почему алгоритмы ошибаются

Ключевая проблема в том, что рекомендательные системы пытаются оперировать ограниченными данными. Даже самые продвинутые алгоритмы могут показывать эффективность на уровне 60–70%.

Простое увеличение объемов данных не всегда решает проблему: необходимо учитывать специфические особенности их обработки. Иными словами, в основе несовершенства ИИ-моделей рекомендательных сервисов лежит скорее не технический изъян, а недостаток труда операторов, которые занимаются применением моделей, планированием их развития и оценкой эффективности. Сложность этой работы заключается в том, что оценка пользовательских предпочтений всегда субъективна и сильно варьируется в зависимости от множества факторов, таких как настроение, личные обстоятельства или контекст, что делает их оценку трудной для точного предсказания.

Если механизмы ИИ способны проанализировать предыдущие предпочтения пользователя, то им недоступна информация о его сегодняшнем настроении, ситуации в семье и на работе. А эти, как и множество других факторов, во многом и определяют выбор контента в конкретный момент, и классифицировать их с абсолютной или хотя бы с высокой точностью практически невозможно.

ИИ-модели могут проанализировать множество параметров, от сюжета фильма или книги, концовки, моральных установок автора, даже музыки, используемой в саундтреке или тембра голоса исполнителя. Но все это — данные, касающиеся контента, а не самого человека. Поэтому для того, чтобы выдавать высокоточные рекомендации, ИИ нужно анализировать не принадлежность пользователя к возрастным или социальным группам, не его вкусы и предпочтения, а всю его текущую жизнь. Что, в принципе, не представляется возможным, — соответствующих данных ни один сервис не получит никогда.

Недостаток данных — основная проблема всех ИИ-моделей, анализирующих пользовательские предпочтения. Отсюда и ошибки рекомендаций, которые выдают системы.

«Стоит учитывать тот факт, что любая модель создается исходя из бизнес-потребностей. Если она предназначена для выдачи рекомендаций пользователям, то она будет максимально точной только для той выборки, на которую она ориентирована: молодых мужчин, женщин среднего возраста и т.п. «Не угадывание» предпочтений пользователей такими моделями — скорее исключение. Но оно может быть оправданием только в рамках той бизнес-модели, где используются ИИ-механизмы», — Илья Лысенко, Data Science Product Lead компании Hybrid.

Как повысить эффективность рекомендательных систем

Основное, с чем нужно работать — максимизировать количество правильных предсказаний. На рынке принято считать, что если ML-модель угадывает в примерно 80% случаев, то результат считается успешным.

Для повышения точности рекомендаций важно сосредоточиться на нескольких аспектах, которые взаимосвязаны:

• Регулярно расширять анализируемые параметры, оценивать их влияние на количество верных ответов и исходя из этого расставлять приоритеты: убирать из анализа менее эффективные и детально рассматривать показатели с наибольшим весом. Здесь важно отметить, что данные внутри одной экосистемы ограничены и их можно и нужно обогащать данными извне: за счет открытых сторонних данных или интеграций с другими источниками.
• Увеличить объем анализируемых данных с помощью API и партнерства. Интегрируйте рекомендательную систему с другими сервисами (например, социальными сетями, платформами для онлайн-покупок), чтобы расширить источники данных и улучшить качество рекомендаций. Также распространен опыт обогащения данных одной экосистемы за счет разных направлений бизнеса. Например, «Яндекс» использует информацию о наших передвижениях (такси, навигация, путешествия), предпочтениях в еде (служба доставки) и покупках (маркетплейс). Эта информация используется в ML-моделях во всех сервисах «Яндекса». Так рекомендации становятся точнее и релевантнее для пользователей. Данные о покупках имеются и у других многочисленных игроков на рынке. И они могут значительно обогатить те массивы, которыми располагают развлекательные интернет-сервисы.
• Улучшать работу ML-моделей. Следуйте за тенденциями, так как они постоянно совершенствуются и улучшается скорость обработки данных. Подумайте над использованием комбинированных алгоритмов.

Таким образом, практически единственный возможный путь технологического развития ИИ-сервисов, анализирующих пользовательские предпочтения — работа с большими данными и обогащение ими используемых моделей. Для этого необходимы и соответствующие инструменты, и вычислительные мощности, которые значительно больше тех, что имеются в распоряжении компаний сегодня.

Запросы к ИИ и запросы рынка

К слову, примерно те же запросы сегодня есть и в офлайне. Ритейлеры пытаются анализировать поведение покупателей в торговых залах: как они перемещаются, где они останавливаются, как рассматривают выставленный товар, на что обращают внимание и т.п.

При этом игроки розницы находятся примерно в той же самой ситуации, что и интернет-сервисы. Они имеют в своем распоряжении тоже только один срез данных, — данные о покупках, которые совершены участниками программ лояльности.

Означает ли это, что ожидать в обозримом будущем повышения эффективности рекомендательных ИИ-систем не стоит?

Нет! Повышение в развитии таких систем уже появилась: Amazon запустила консультанта по покупкам, Rufus. Пока он существует в форме чат-бота и доступен не всем покупателям даже на территории США. Но опыт крупнейшего онлайн-ритейлера показывает, что задача использования big data в системах искусственного интеллекта для поведенческого анализа и предпочтений вполне реализуема.

Правда, не стоит забывать, что Amazon одновременно — один из ведущих облачных провайдеров и может позволить себе использовать собственную инфраструктуру для обогащения и обработки сверхбольших массивов данных.

Бизнес может получать пользу от ИИ-рекомендаций по-разному. Один класс таких инструментов способен просто оптимизировать расходы. Второй — значительно улучшать взаимодействие пользователей с продуктом. Третий также раскрывает новые потребности, которые без применения ИИ оставались бы невыявленными и неудовлетворенными.

По мере накопления данных и развития технологий, модели ИИ будут только совершенствоваться, предлагая все более точные и персонализированные рекомендации. Сотрудничество различных отраслей для обмена данными и разработка новых подходов к обработке больших объемов информации откроют новые горизонты для ИИ в предвосхищении и удовлетворении потребностей рынка, принося значительную пользу бизнесу и конечным пользователям.

Вывод

Современные рекомендательные системы на базе ИИ играют важную роль в улучшении взаимодействия пользователей с контентом, однако до сих пор сталкиваются с множеством проблем. Основная сложность здесь — недостаточная точность рекомендаций. Для преодоления этого нужен переход к использованию больших данных и их обогащению за счет интеграции с внешними источниками. Объединение усилий разных отраслей, работа с большими данными и развитие алгоритмов откроют новые горизонты для ИИ, позволяя предвосхищать потребности пользователей и приносить реальную пользу бизнесу.