Технологии «Адаптис» делают жизнь глухих и слабослышащих удобнее

«Адаптис», резидент «Сколково», разработала мобильное приложение для платформ iOS и Android, которое позволяет глухим связаться с переводчиком РЖЯ по видеосвязи из любой точки, где есть интернет, для решения своих ежедневных задач. Сейчас компания работает над созданием компьютерного переводчика на русский жестовый язык. 

 

Русский жестовый язык (РЖЯ) — это полноценная лингвистическая система со своими правилами. Передача информации с РЖЯ на русский и наоборот требует участия профессиональных переводчиков. Согласно данным Всероссийского общества глухих, количество пользователей РЖЯ в России составляет порядка 300 тысяч человек. Кроме того, он активно используется на территории бывшего СССР, а также среди представителей диаспор, проживающих на территории других стран мира.

 

За последний год мобильным приложением «Адаптис» воспользовалось около 13 тысяч человек, среди которых доля активной аудитории составляет около 5 %. 

 

«Существуют факторы, которые ограничивают применимость и доступность онлайн-перевода для глухих, сложно представить сколько необходимо переводчиков, чтобы переводить колоссальный объем информации современного мира, иметь возможность переводить книги, фильмы или видеоматериалы, и какая конечная стоимость будет у такого решения. Так родилась идея создания компьютерного переводчика на русский жестовый язык, продукта, который был бы доступен 24/7» — рассказывает директор «Адаптис» Максим Нечай.

 

Компьютерный переводчик Саша делает свои первые шаги в рамках пилотных проектов на базе Института социальных технологий Новосибирского Государственного Технического Университета и ряда социальных проектов Новосибирской области.

 

 

Облачная технология на базе машинного обучения позволяет переводить текст на русский жестовый язык и может быть интегрирована в любое приложение или сайт по модели SaaS. 

 

При работе с продуктом каждый пользователь получает своего компьютерного переводчика и отправляет ему голосовые или текстовые команды для перевода на русский жестовый язык. Компьютерный переводчик может принимать облик мужчины или женщины, быть одет как сотрудник банка или авиакомпании в зависимости от контекста пользователя, для ребенка может принимать образ сказочного персонажа. Визуальный образ моделируется на удаленном сервере, а видео перевода, дополненное субтитрами, в реальном времени транслируется по технологии WebRTC подобно видеозвонку Skype или Zoom.

 

По мере роста количества пользователей, облачные технологии позволяют горизонтально масштабировать количество одновременно запущенных экземпляров переводчика на базе Docker контейнеров, которые содержат графический движок Unreal Engine, словарь оцифрованных жестов русского жестового языка и предобученную модель перевода.

 

«Основой и наиболее наукоемким компонентом системы является лингвистическое ядро или цифровой образ русского жестового языка, над которым работает команда "Адаптис" вместе с носителями языка. Качество перевода ежемесячно растет за счет расширения лексической базы и постоянного сбора оцифрованных данных фактической речи носителей языка» — Максим Нечай. 

 

Перспективный продукт компьютерного перевода на базе машинного обучения еще далек от идеала, планируется сбор и уточнение данных, эксперименты в методах машинного обучения и способах применения нейронных сетей для получения более высокого качества перевода и исправления ошибок и неточностей в отдельных жестах. Процесс имеет итеративный характер и с каждой новой версией перевод развивается: предстоит решить еще много проблем, среди которых расширение словаря и запись новых жестов, разрешение многозначности, применение лингвистических классификаторов, детализация немануальных компонентов (мимика, движение телом, артикуляция), региональная специфика жестового языка и многие другие.

 

С точки зрения программной инженерии технология легко масштабируется на другие жестовые языки, но основная трудоемкость и сложность создания компьютерного переводчика лежит в плоскости лингвистики и подготовки датасета. Командой «Адаптис» наработан процесс проведения лингвистических исследований и разметки видео на жестовом языке, записи жестов, последующей многоступенчатой проверки и редактирования отдельных жестов, разработан фреймворк синтетической оценки качества машинного перевода. В результате, может быть разработан подобный компьютерный переводчик и для другого жестового языка, например, для международного жестового языка, французского или испанского жестовых языков.