14 сентября 2017, 15:00

Статистика и нейросети. «Яндекс.Переводчик» перешёл на гибридную систему перевода

Больше никаких «сильный боль».

«Яндекс» добавил в «Переводчик» нейронную сеть, которая теперь работает вместе с о статистической моделью. Текст переводят обе модели, а затем алгоритм на основе метода машинного обучения CatBoost сравнивает результаты и предлагает лучший.

В отличие от статистического переводчика, нейросеть не разбивает тексты на отдельные слова и фразы. На входе она получает предложение целиком и выдаёт его перевод. Такой подход позволяет учесть контекст и лучше передать смысл.

«Результат получается „гладким“: предложение хорошо читается, и иногда даже можно подумать, что его перевёл человек», — отметили в пресс-службе «Яндекса».

В свою очередь, статистическая модель лучше справляется с редкими словами и фразами и не фантазирует, если смысл предложения непонятен, как это может делать нейросеть.

Яндекс.Переводчик

Чтобы снизить количество грамматических ошибок, «Яндекс.Переводчик» проводит дополнительную проверку переводов, выполненных нейросетью. Они проходят через модель языка — свод знаний о языке перевода, накопленный системой. Если в предложении есть рассогласования, например, «папа пошла» или «сильный боль», модель их исправит.

Сейчас гибридная система работает только для переводов с английского на русский. Это самое популярное направление перевода — на него приходится около 80% запросов. Пользователи веб-версии «Яндекс.Переводчика» могут сравнить результат работы гибридной системы и статистического переводчика и выбрать вариант, который им больше понравится.

Ранее «Яндекс» запустил ресурс для коллективного перевода «Я.Браузера» на другие языки, а онлайн-школа Skyeng выпустила «умный» переводчик песен для «Яндекс.Музыки». Тем временем нейросеть-переводчик Facebook работает в 9 раз быстрее конкурентов.

Хотите подсказать новость или поделиться экспертным мнением? Пишите: news@cossa.ru

Автор иконки на тизере: Souvik Maity, Noun Project