23 августа 2017, 10:00

«Яндекс» представил новый алгоритм ранжирования «Королёв»

Машинный интеллект, который тебя понимает.

22 августа в Московском планетарии «Яндекс» представил новый поисковый алгоритм «Королёв». Продукт презентовали руководитель поиска «Яндекса» Андрей Стыскин, руководитель службы релевантности и лингвистики Александр Сафронов и руководитель асессорской сети Ольга Мигорская. Мероприятие транслировалось в прямом эфире через YouTube (запись доступна, 1:01:47).

В новом алгоритме разработчики увеличили влияние нейронных сетей на выдачу. Так, предыдущая программа «Палех» обрабатывала только 150 страниц по запросу. «Королёв» воспринимает 200 тысяч страниц. Раньше нейросеть оценивала схожесть пары «запрос — заголовок страницы», а теперь также учитывает тело страницы. А ещё новый алгоритм определяет смысл запросов, по которым люди переходят на страницу.

«Королёв» обучался на big data массивах пользовательской информации по принципу DSSM. Создатели демонстрировали нейронной сети огромные количества правильных и ложных примеров. После тренировки программа научилась сравнивать смысл текста по семантическому вектору в 300 чисел. Чем ближе по смыслу тексты запроса и потенциального ответа, тем ближе их семантические векторы.

Обучению нейронной сети помогали сотрудники-асессоры и пользователи платформы «Толока». Около 500 тысяч человек оценили работу программы свыше двух миллиардов раз. Они проверяли релевантность ответов, актуальность данных справочника и работу голосового поиска.

В конце трансляции Андрей Стыскин продемонстрировал понимание «Королёвым» смыслового контекста.

Картинка кошки в стиральной машине в ответах на запрос «кошка в космосе» показывает понимание космического контекста

Алгоритм правильно определяет фильм по свободному описанию. Он понимает суть текстового запроса и сопоставляет её с сутью страниц, а не их описанием

Алексей Леонтьев

Руководитель отдела оптимизации сайтов Kokoc.com

Алгоритм «Королёв» — это развитие «Палеха», направленного на повышение качества выдачи по сложным, в основном информационным запросам. По сути, на «Палехе» «Яндекс» протестировал поиск на основе нейронных сетей, а теперь запустил его полномасштабно.

Раньше все алгоритмы работали по методу машинного обучения «Матрикснет», который поисковик дорабатывал, условно, вручную. А «Королев», основанный на нейросетях, обучается самостоятельно с помощью миллионов запросов, которые ежедневно задают пользователи. Таким образом, вместо того, чтобы анализировать сайты в ответ на запрос, поисковик будет заранее знать, на какие вопросы и их вариации отвечает каждый документ.

На мой взгляд, запуск нового алгоритма в первую очередь повлияет на информационные запросы и поможет пользователям быстрее находить ответы на сложные вопросы типа: «Рыбка-инвалид, которая потерялась в океане и ищет отца». Возможно, «Королёв» затронет и коммерческие запросы. К примеру, по фразе «Устройство, которое перемалывает все подряд» пользователям будет проще найти блендер. Однако о влиянии алгоритма на классические коммерческие запросы типа «Купить блендер» пока говорить рано.

Читать по теме:

Хотите подсказать новость или поделиться экспертным мнением? Пишите: news@cossa.ru

Автор иконки на тизере: Lance Weisser, Noun Project