15 ноября 2018, 09:15

KinTrans мгновенно переводит жесты в звук. Система создана на основе игрового контроллера Microsoft Kinect

KinTrans облегчит общение со слабослышащими людьми.

Компания KinTrans разработала систему, которая считывает язык жестов с помощью специального датчика движения и в реальном времени транслирует их в соответствующее голосовое сообщение. Для создания решения разработчики адаптировали программное обеспечение Microsoft Kinect, работающего с игровой приставкой Xbox 360.

Как работает система KinTrans

Пользователи стоят перед камерой, и сенсорный распознаватель движений считывает жесты, мгновенно переводя их в звук и текст. При этом система обеспечивает двустороннюю связь: помимо перевода языка жестов в голосовое сообщение, она так же быстро трансформирует слова отвечающего в текст.

Система облегчит общение со слабослышащими людьми

Компания отмечает, что более 400 млн людей по всей планете живут с нарушением слуха, регулярно испытывая трудности при общении с окружающими. Основатель компании Мохамед Эльвазер рассказывает, что мысль о создании подобной системы пришла ему в голову ещё в юношестве. Как-то в метро он стал свидетелем следующего разговора: полицейский кричал на подростка, который отчаянно пытался что-то ему сказать на языке жестов. Однако сотрудник полиции не понимал, что тот пытается до него донести, и продолжал кричать на мальчика. Этот случай стал отправной точкой в создании KinTrans, которая переводит язык жестов в режиме «здесь и сейчас».

Эльвайзер уверен, что KinTrans можно использовать во всех сферах деятельности, чтобы без преград общаться со слабослышащими людьми. Например, в ОАЭ, родине стартапа, KinTrans могут интегрировать в транспортную систему и отделения полиции. Устройство также протестировали в аэропорту Дубая. Кроме того, использование KinTrans выгодно для компаний, в которых работают слабослышащие сотрудники, — нет необходимости нанимать в штат переводчика.

Слева направо: гендиректор Microsoft Сатья Наделла, гендиректор KinTrans Мохамед Эльвазер и директор по развитию бизнеса компании Кэтрин Бэнтли

Эльвазер отмечает, что у языка жестов есть множество локальных акцентов, поэтому в KinTrans встроили языковые пакеты, которые упрощают установку новых знаков. В перспективе компания также создаст базу данных региональных диалектов. Пока KinTrans работает только на английском и арабском, но разработчики планируют расширять количество доступных языков.

Слабослышащие люди смогут звонить по телефону

У KinTrans пока нет портативной версии, однако компания уже работает с камерой цифровой реальности Intel RealSense. Технология позволит слабослышащим людям звонить. Для этого нужно будет просто установить смартфон рядом с собой и показывать соответствующие жесты перед камерой — собеседник услышит переведённые слова.

Недавно KinTrans выиграл международный конкурс для стартаперов Expo Live. В рамках программы компания получила порядка 100 тысяч $ на развитие проекта.

О диджитале в удобном формате ➜ читайте нас в Телеграме

Фото на тизере: Jo Hilton