В нейросетях клиентской поддержки. Кто и как делает сервис, отвечающий на негативные отзывы

Группа компаний Reputation.Earth запустила Leveling — сервис нейтрализации негативных отзывов с помощью профессиональных ответов. Нюанс в том, что бо́льшую часть работы выполняет нейросеть. Она анализирует отзыв и предлагает шаблон ответа.

Валентина и Данил — ведущие разработчики сервиса Leveling, входящего в группу компаний Reputation.Earth. Сервис помогает оценить отзыв клиента и дать на него развёрнутый ответ. Такой подход способен решить проблему клиента или мотивировать к повторному обращению к бренду. Переписку видят другие пользователи. Для них важно, что в случае проблемы компания не бросит их и постарается помочь.

Эффективная и выгодная реклама с сервисом от МегаФона

Широкий выбор рекламных каналов, более 100 параметров по интересам, подробная аналитика и другие возможности уже ждут в Личном кабинете. А еще кешбэк 100% за запуск рекламы в первый месяц и еще 10% — каждый месяц.

Узнать больше >>

Реклама. ПАО «МегаФон». ИНН 7812014560. ОГРН 1027809169585. ERID LjN8K1P7y.

Пока сервис работает в тестовом режиме для клиентов из США, а один ответ стоит меньше доллара.

Мы поговорили с разработчиками и узнали, почему текст — сложнейший материал для анализа, сколько нужно отзывов, чтобы научить робота отличать «хорошее» от «плохого», и причём тут «Игра престолов».

В начале пути

Идея создать систему, оценивающую отзывы и предлагающую на них развёрнутый ответ, возникла в начале 2019 года. Непосредственно к реализации команда приступила в начале лета.

«Я закончила магистратуру по направлению „Обработка данных“. Однако на практике чаще сталкивалась с изображениями и временными рядами. Обработка текста стала для меня новым опытом», — рассказывает Валентина.

Сама Валентина, с точки зрения работы над Leveling, называет себя «практиком». Стратегические задачи лежали на Даниле, но это не означает, что он не занимался непосредственно разработкой. В области Data Science Данилу приходилось работать с анализом и интеллектуальной обработкой музыки.

«Мы всё ещё в анализе данных, только формат другой, — поясняет Валентина. — В целом любые данные подаются машине одинаково. Мы воспринимаем картинку совокупностью цветов, а машина принимает цифры. Значит надо перевести текст в числа».

В июне и июле команда разрабатывала концепт будущего сервиса: анализировала технические детали и возможности реализации. Непосредственно разработка началась в августе. Идея сервиса звучит так: модератор сервиса сканирует отзыв, а система предлагает подходящий шаблон ответа. Однако это нынешнее ви́дение сервиса, и оно может меняться под влиянием запросов рынка.

С точки зрения выхода на рынок команда Leveling ведёт маркетинговое исследование, а также тестирует сервис на потенциальных потребителях. В этом помогло участие проекта в акселераторе GoGlobal. Проект развивается, появляются изменения и доработки.

Как работает Leveling

Время от времени компании допускают ошибки, которые не устраивают клиентов: ресторан теряет заказ, а в отеле ломается кондиционер. Разочарованный клиент напишет об этом негативный отзыв. Так проблемная ситуация становится достоянием общественности. Потенциальные клиенты тоже читают негативные отзывы, чтобы спрогнозировать риск обращения к компании.

Если бизнес грамотно ответит на негативный отзыв, тот потеряет негативный эффект. Мастера клиентской поддержки развернут диалог в позитивное русло. Ответы стимулируют пользователей писать больше подробных отзывов. Но сначала придётся научиться вежливо и аргументированно вести диалог в интернете.

Человек может упустить важные моменты из отзыва, особенно когда читает их по 100 штук в день. Каждый текст необходимо проанализировать, провести лингвистический анализ и много чего ещё. Всё это затратно по времени.

«Машина распознаёт смысл написанного даже в контексте рассказа человека о себе. Например, автор пишет: „Я спортсмен, люблю бегать. Купил фитнес-часы, и вот мои впечатления“. Leveling распознает, что относится к качествам человека, а что — к качествам продукта», — поясняет Валентина.

Как научить машину понимать отзывы

Как рассказал Данил, в работе они столкнулись с двумя сложностями.

Векторное представление слов. В работе требовалось составить специальную карту слов, на которой близкие по смыслу слова находятся рядом.

«Мы проводили эксперимент с одной из книг „Песни льда и огня“ (по ней снята „Игра престолов“). На карте слов „королева“, „королевство“ и „дракон“ находились рядом. В контексте книги они были близки по смыслу, и машина это понимала», — объясняет Данил.

Картинка с примером вектора «Песни льда и огня»

Дело вот в чём: у книги один автор, и его стиль остаётся неизменным. С отзывами ситуация усложняется. Люди пишут разные тексты: подробные и мелкие, грамотные и бестолковые. Многие отзывы только портили данные, уводили машину от понимания. Так команда пришла к следующей сложности.

Сбор данных. Чтобы машинное обучение сработало, нужно собрать хороший dataset — набор данных для обработки или попросту учебник для нейронной сети. Тут как с людьми. Можно учить историю по академическим трудам, а можно по книгам Фоменко и Понасенкова. Поэтому команда отсеяла отзывы с матами, несвязной лексикой и малым количеством слов.

«Мы даём данные: отзыв и оценку автора. Сравнивая эти факторы, нейронная сеть решает: это позитивно, а это негативно, — рассказывает Валентина. — Система видит, что слова „плохой“, „ломается“ и „ужасный“ свойственны отзывам с низкой оценкой. Когда даём новый отзыв, она узнаёт слово и предполагает, что и отзыв отрицательный».

Для первоначального пула данных хватило 100 тысячи отзывов. На каждую оценку по пятибалльной шкале машине давали по 20 тысяч текстов. Dataset Amazon открытый, поэтому начали с него, потом добавляли отзовики, посвящённые ресторанам, еде и отдыху. В последних люди уже рассуждают о понятиях «атмосфера», «месторасположение», «обслуживание» и других. Пополнение dataset продолжается.

Трудности перевода с человеческого на машинный

Машина научилась распознавать оттенки смыслов, но языковая практика находит способы поставить её в тупик. Так, Levelling через раз понимает, что перед ним сарказм. Впрочем, с такой задачей справятся и не все люди.

Человек скорее поймёт, что перед ним ирония, но машина примет вопрос за чистую монету. Логика такая: «Если есть вопрос, значит человек хочет что-то уточнить. Нейросеть воспринимает это нейтрально». Разработчики продвинулись в обучении, но ещё есть над чем работать.

Ещё одной ловушкой английского языка стали идиомы.

«Мне попался комментарий с фразой „red tape“, — рассказывает Валентина. — Буквально означает „красная лента“, однако так люди называют излишние формальности, волокиту и бюрократизм. То есть идиома с негативным значением. Вряд ли кто-то назовёт бюрократию позитивным моментом».

Там, где человек распознает идиому, машина серьёзно задумается. Но это поправимо. Вообще большинство людей не пишут саркастически в комментариях к продукту, но система должна это распознавать.

Будущее сервиса

«У нас нет практического опыта генерации грамотных ответов, но это возможно, — объясняет Данил. — Есть сервисы, генерирующие музыку, например, Mubert. С текстом похожая ситуация. Сначала ответ будет сырым, сделанным вопреки правилам английского языка. После исправлений и введения новых методов, текст будет улучшаться».

Сейчас ответ остаётся за модератором. Он получает ответ от машины, правит его и отправляет в публикацию. Параллельно результат оседает в dataset. В будущем эти данные помогут генерировать более грамотные ответы.

Валентина поясняет: система также должна научиться работать с шаблонами ответов. Кто-то ждёт объяснений или извинений. Смысловые блоки должны быть логично связаны друг с другом.

Допустим, человек пишет о телефоне: «Классная камера и никакая продолжительность работы. Даже ночью получаются неплохие фотки». Здесь два тезиса о камере, разделённые негативом о зарядке. Leveling должен собрать мнение о камере в один смысловой блок.

Стартовать на английском языке проще, чем на русском. В славянских языках слова с одним корнем могут трансформироваться до неузнаваемости, много приставок и суффиксов. К тому же есть части слова, которые важны для построения производных, но о которых не рассказывают в школе. Да, нулевой суффикс, мы имеем в виду тебя.

Изнутри Leveling отдалённо напоминает кубик Рубика. Это сервис, состоящий из множества микросервисов, решающих разные задачи. Каждый такой сервис внутри команды называют MiniBox. Соответственно, вместе они собираются в единый Box. Понять принцип работы проще, чем кажется.

В языке мы используем сложные предложения. Если мы решим их разобрать, нам придётся разделить их на простые предложения. В Leveling такой же принцип. Разделением отзыва на блоки занимается один «Минибокс», оценкой тональности — другой и так далее.

Если говорить на языке разработки, Leveling находится на этапе MVP, или минимально жизнеспособного продукта. Сервис работает и приносит деньги, но лучшее ещё впереди. Каждый ответ модератора дублируется в dataset. Чем больше используют Leveling, тем лучше он становится.

Мнение редакции может не совпадать с мнением автора. Ваши статьи присылайте нам на 42@cossa.ru. А наши требования к ним — вот тут.