Слепой услышит, глухой прочитает
В 2012 году ООН ратифицировала конвенцию о правах инвалидов. С тех пор в мире начали активно развиваться проекты помощи людям с ограниченными возможностями. В России в последние годы приобрела известность лаборатория «Сенсор-Тех», которая создает устройства для помощи тем, у кого нарушены зрение или слух. Денис Кулешов, ее создатель и генеральный директор, рассказал, как появилась лаборатория, в чем особенности ее гаджетов и каковы их перспективы.
Взялся за технологическую помощь
Лаборатория «Сенсор-Тех» стала известна благодаря созданию умных помощников (один помогает ориентироваться в пространстве и распознает лица, другой распознает речь и выводит ее текст на экран) и VR-симулятора болезней глаз, который позволяет увидеть мир таким, каким его видят люди с нарушениями зрения. Автором идей создания устройств был директор лаборатории Денис Кулешов.
В 2010 году, когда Денис был еще студентом МГТУ им. Баумана, его пригласили работать в Центр работы с инвалидами по слуху при этом университете. В 2014 году был создан благотворительный фонд поддержки людей с нарушениями зрения и слуха «Со-единение», который занимался как реабилитационными программами, так и технологическими проектами — разработкой устройств, которые бы облегчали жизнь таким людям. Тогда Денису и пришла в голову мысль системно развивать в России технологии для помощи инвалидам.
После переговоров Дениса Кулешова с руководством «Со-единения» обе стороны пришли к выводу, что нужно создать отдельную лабораторию, которая будет заниматься исследованиями и прикладными разработками для людей с нарушениями слуха и зрения. В 2017 году была открыта лаборатория «Сенсор-Тех». На ее открытие дала грант Национальная технологическая инициатива (70% средств), частичную финансовую помощь оказало «Со-единение» (30%).
Кадры решают все
Денис стал директором, автором идей проектов лаборатории, и с самого начала принялся тщательно отбирать команду. Он сразу же пригласил на должность руководителя медицинских проектов своего знакомого офтальмолога Андрея Демчинского, с которым вместе занимался исследованиями. Летом 2017 года после поисков главного конструктора на сайтах вакансий в команду пришел Александр Попов. Он набирал остальной персонал.
«Нам нужны были конструкторы, программисты, работники на ручную сборку, — рассказывает Денис. — Выбирали программистов, которые ранее делали датчики, сенсоры, могли работать не только с кодом, но и с железом. Важно было, чтобы наши специалисты могли друг друга хотя бы частично заменять во время отпусков».
Сейчас в «Сенсор-Тех» работают 33 специалиста. 17 — постоянные работники — менеджмент, отдел разработчиков (инженерный) и сотрудники, которые тестируют и продвигают продукцию. Лаборатория привлекает и временных сотрудников на отдельные проекты. В команду также включены люди с инвалидностью и врачи как консультанты.
«Робин» и «Чарли» спешат на помощь
С 2017 по 2019 годы лаборатория работала в рамках направления «Нейронет» Национальной технологической инициативы, предусматривающего создание устройств на основе нейросетей. Первым проектом стало создание «бионического глаза». В июне и декабре 2017 года в Москве специалистами из США двум слепым пациентам были установлены глазные импланты, частично возвращающие зрение. Их спонсировали «Со-единение», благотворительный фонд Алишера Усманова «Искусство, наука и спорт» и другие благотворительные организации. Лаборатория «Сенсор-Тех» тоже была спонсором и оказывала техническую поддержку.
В 2017–2019 годах лаборатория создала два умных помощника для инвалидов по зрению и слуху: «Робин» и «Чарли». В каждое устройство загружена нейросеть, которая распознает предметы или звуки в результате машинного обучения.
«Робин» называется умной тростью, но похож на камеру. Инвалид по зрению держит устройство в руке и управляет им, нажимая на кнопки. Две камеры с искусственным интеллектом распознают предметы и животных, определяют расстояние до 10 метров и запоминают лица людей по загруженным фотографиям. На лица накладываются уникальные маски из точек; когда нейросеть видит знакомую комбинацию, то называет загруженное с данной фотографией имя. Распознавать предметы «Робин» «научился» после того, как ему показали десятки тысяч разных вариантов одного предмета с разных ракурсов при разном освещении. Информация подается голосом в наушники, а когда на пути появляется препятствие, ультразвуковые датчики подают сигнал, и «Робин» начинает вибрировать. Работает без интернета.
«Мы всегда даем потребителям опробовать наши наработки, — рассказывает Денис Кулешов. — Первый релиз “Робина” оказался неудобным из-за размера, пришлось уменьшать. Для поиска объектов надо было направлять устройство, нажимать кнопку и ждать реакции две секунды. Но люди не знали, куда направлять. Тогда мы сделали основной режим с быстрым поиском: пока кнопка нажата, устройство распознает. Результат готов через полсекунды».
«Чарли» распознает речь. Представляет собой диск, в которой встроены высокочувствительные микрофоны, улавливающие речь на расстоянии 2 метров. Нейронная сеть переводит речь в текст и через Bluetooth выводит его на экран смартфона, планшета, телевизора или Брайлевского дисплея для слепоглухих. В «Чарли» включена функция дистанционного общения: нужно подключить устройство по специальной ссылке и можно будет прочитать речь, произнесенную и записанную заранее. Этот гаджет работает автономно, для удаленного общения нужен доступ к интернету.
«Мы хотим разработать собственные микрофоны для “Чарли”, а не закупать компоненты из-за рубежа. Сделали поддержку английского и немецкого языков, собираемся расширить ее на другие языки. Сейчас разрабатываем функцию перевода с одного языка на другой», —говорит Денис.
Посмотреть на мир его глазами
Создав гаджеты для инвалидов, специалисты «Сенсор-Тех» продолжили работать над подобными устройствами. В 2020 году лаборатория представила приложение VR-симулятор глазных болезней SeeMyWorld («Посмотри на мир моими глазами»). Специалисты компании разработали программу, которая накладывает на фото, картинку или изображение, полученное в режиме реального времени с камеры компьютера или мобильного устройства, разные дефекты, соответствующие болезням глаз. Для создания программы сотрудники лаборатории консультировались с офтальмологами, группа консультантов сформировала перечень визуальных симптомов дефектов зрения. Основную часть приложения занимает графический редактор, реализующий эффекты, основанные на симптомах. Симуляции привязаны к полям зрения камеры устройства. Разработаны версии для стационарных компьютеров и iPhone.
Доступная среда
В 2019 году лаборатория выиграла грант президента РФ на развитие гражданского общества и на эти деньги начала проводить исследования пациентов с генетическими заболеваниями сетчатки, чтобы найти способ их вылечить. Также специалисты «Сенсор-Тех» открыли проект «Азбука доступности» — создали серию VR-сцен со всплывающими подсказками, как создать доступную среду на входе в здание, в кухне, туалете, кабинете реабилитации.
Совместно с компанией «МегаФон» лаборатория разработала приложение «Определитель купюр» для слепых. В его основу положили нейронную сеть, которая прошла обучение на большом количестве купюр. Для работы приложения нужно поднести банкноту к смартфону со стороны камеры, будет озвучен номинал. Для слепоглухих предусмотрен режим вибрации. «Определитель купюр» сделан для Android и iOS, пока работает только с рублями, в планах разработчиков — вводить в базу иностранные валюты.
«Сенсор-Тех» — НКО, но в прошлом году Денис Кулешов открыл коммерческий отдел, который стал резидентом «Сколково», нанял специалистов по продажам. Менеджеры предлагают «Чарли» банкам, МФЦ, центрам социального обслуживания, поликлиникам. Устройство уже установлено в центре занятости «Моя работа» в Москве, в одном МФЦ Перми, открыты предзаказы для установки в другие объекты соцобслуживания. Насчет «Робина» ведутся переговоры с организациями, помогающими инвалидам, центрами социального обслуживания, Министерством здравоохранения РФ и министерствами в регионах, чтобы включить его в перечень средств реабилитации, потому что он стоит 150 тыс. руб., а это дорого для среднестатистического покупателя.
Автор: Кристина Фирсова
Источник: if24.ru