Безопасный ИИ: как портал «Рамблер» тестирует нейросети для бизнеса и пользователей

8 апреля 2025 года в Ульяновске состоялась XIII Международная IT-конференция «Стачка», собравшая экспертов в области искусственного интеллекта, разработки и цифровых инноваций.

CDS портала «Рамблер» (входит в медиахолдинг Rambler&Co) Сергей Карпович выступил в секции «Машинное обучение» с темой интеграции больших языковых моделей (LLM) в веб-продукты. Он рассказал о процессе подключения GigaChat к новостному порталу. 

Основное внимание Карпович уделил методикам промпт-инжиниринга – искусству составления эффективных запросов к языковой модели для получения желаемого результата, а также использованию различных техник, таких как Few-Shot, Chain of Draft (цепочка черновиков) и Chain of Thought (цепочка рассуждений). Он подчеркнул критическую необходимость всестороннего тестирования при работе с LLM и отметил, что его необходимо проводить на двух уровнях:

1. этапе разработки: оценка способности конкретной LLM эффективно решать поставленные бизнес-задачи до её внедрения; 

2. производственной среде: обязательный непрерывный мониторинг качества работы LLM после интеграции в продукт, что позволяет отслеживать производительность модели в реальных условиях, выявлять деградацию качества ответов и оперативно вносить корректировки.

Аудитория портала «Рамблер» уже сейчас может ознакомиться с картиной дня на главной странице портала, которая актуализируется нейросетью раз в несколько минут, а с помощью контекстных подсказок узнавать подробнее о событии или уточнять неизвестные слова.

Сергей Карпович, CDS портала «Рамблер»: 

«Новый “Рамблер” — это не просто портал, а помощник, который берёт на себя рутину и помогает получить исчерпывающую полезную информацию по любой жизненной ситуации. Мы проводим всесторонние тестирования языковых моделей, осуществляем тщательный мониторинг качества создаваемого контента и стремимся к минимизации рисков, чтобы искусственный интеллект эффективно способствовал развитию бизнеса и не порождал потенциальные угрозы».

«Стачка» — международная профессиональная IT-конференция, которая ежегодно собирает 2500 специалистов со всей страны — разработчиков, маркетологов, дизайнеров, руководителей и собственников IT-компаний.