Учёные Новосибирского государственного технического университета НЭТИ завершают создание системы, которая с помощью камер и нейронных сетей узнаёт жесты глухих и переводит их в текст или голос. Разработчики внесли в программу 1006 жестов и добились 90% точности распознавания движений, сообщает «Научная Россия».
«В России подобной системы раньше не было, это первая в мире разработка», — рассказал профессор кафедры автоматизированных систем управления НЭТИ Михаил Гриф. Для обучения нейросети использовали 350 жестовых предложений, записанных на камеры. Программа распознаёт картинку и фиксирует движения, которые затем превращает в изображения. Далее они переводятся в модели, сопоставляются с данными в нейронной сети и преобразуются в текст или голос. В результате обучения ИИ смог определять межжестовые движения, начало и конец жеста.
По словам Грифа, сейчас учёные продолжают дорабатывать программу распознавания дактиля — вспомогательной системы русского жестового языка, где каждому жесту соответствует буква. Сложность компьютеризации перевода в том, что он зависит не только от движения рук, но и от выражения лица, движения губ и других знаков артикуляции. В дальнейшем учёные хотят внедрить работу переводчика в обе стороны, чтобы им свободно могли пользоваться глухие и слабослышащие люди, и адаптировать программу под другие жестовые языки мира.
В мире существует около 130 жестовых языков, в каждом — около четырёх тысяч жестов, которые производят руками в сочетании с мимикой и положением тела. По данным Всероссийского общества глухих, численность носителей русского жестового языка (РЖЯ) в России превышает 300 тысяч человек. В стране не хватает около четырёх тысяч переводчиков с РЖЯ, говорил глава организации Станислав Иванов.
