Неслышащий выпускник Новосибирского государственного технического университета (НГТУ) Алексей Приходько создал систему, которая автоматически переводит жестовую азбуку на письменный русский язык без использования компьютерной мыши. Об этом сообщила пресс-служба вуза.
Система работает по аналогии с мозгом человека, пояснили в университете. Программа распознает картинку при помощи камеры, фиксирует жесты, а изображение переводит в модели и сопоставляет их с имеющимися данными в нейросети. После этого компьютер выводит на монитор соответствующий жестам перевод.
Как уточнили в вузе, Приходько использует безмаркерную систему, которая при помощи специальных камер накладывает виртуальную «сетку» на получаемое изображение. На этой «сетке» программные алгоритмы находят опорные точки, по которым определяются жесты. Далее система обрабатывает данные и после воспроизводит заданные действия: перевод или управление.
«Представьте, если бы я занимался пианино, я не смог бы ремонтировать его, настраивать, потому что я его не слышу. То же самое и человек, который не знает жестового языка, — пояснил Приходько. — Технически ему очень сложно работать над этим, потому что он не может учитывать всю специфику этой лингвистики».
Помимо встроенной функции переводчика, новая система способна управлять компьютером при помощи движений рук: можно настроить громкость, яркость и управлять курсором на экране без помощи мыши. В дальнейшем Приходько собирается расширить возможности своей системы и включить в нее перевод жестов, обозначающих отдельные слова и целые предложения.
По словам Приходько, проблема в разработке хорошей программы-переводчика с жестового языка связана с грамматикой. Перевод напрямую зависит не только от конфигурации и ориентации рук, но и от их движения, месторасположения и так называемого немануального компонента жестов (выражение лица, движение губ и другие знаки артикуляции). Поэтому сегодня ни одна программа не способна заменить живых переводчиков, подчеркивает Приходько.
Заведующая лабораторией отдела специальных технологий обучения и реабилитации Института социальных технологии и реабилитации НГТУ Ольга Варинова рассказала, что разработка Приходько необходима не только тем, кто не слышит, но и для обучения будущих переводчиков с русского жестового языка.
В августе российская лаборатория «Сенсор-Тех» сообщила о создании уникальной трости с искусственным интеллектом, которая поможет людям с нарушениями слуха и зрения быстро ориентироваться в пространстве. Функция турбопоиска позволяет получать данные об окружающих объектах в непрерывном режиме. Для этого нужно зажать кнопку, и трость будет перечислять предметы, которые находятся на расстоянии до 10 метров с интервалом в 0,2 секунды.
«Такие дела». Информационный портал благотворительного фонда «Нужна Помощь»
Фото с сайта НГТУ.
