Ученые Новосибирского государственного технического университета НЭТИ завершают создание системы компьютерного распознавания русского жестового языка - сейчас ученые вуза сосредоточены на разработке и внедрении работы компьютерного переводчика в обе стороны. Сначала планируется разработать переводчик для русского жестового языка, а затем и для других жестовых языков мира. Подобных программ в мире ещё не существует.
«Мы внесли в программу 1006 жестов, если быть точными. Также разработали алгоритм для распознавания жестов, теперь можно выделять компоненты жеста, конфигурацию и ориентацию ладони, локализацию жеста, а также характер движения. В России подобной системы раньше не было, это первая в мире разработка. Сделали программное обеспечение распознавания жестов и их компонент, точность которого составляет до 90%. Сейчас мы работаем над улучшением этого показателя», - рассказывает профессор кафедры автоматизированных систем управления Новосибирского государственного технического университета Михаил Гриф.
Как это работает? - Система с помощью камер и нейронных сетей узнает жесты глухих и переводит их в текст или голос.
«Мы также вели работу над выделением эпентезы (межжестовое движение). Сейчас точность выделения жестов в видеопотоке составляет 85—90%. Пока эта работа ведется в формате эксперимента. У нас было 350 предложений, которые были записаны на камеру. Мы их размечали, выделяли жесты, промежуточные движения и обучали на них нейронную сеть. Теперь нейросеть может сама определять, где начало жеста, а где завершение. Кроме того, мы занимаемся разработкой биологически подобных нейронных сетей, которые работают аналогично человеку, зрительно воспринимающему жестовый язык», — добавил Михаил Гриф.
Фото: НЭТИ
Новости
![Сибирские учёные смогли перевести жестовый язык в голос и текст](/upload/iblock/b49/b49eed492a3af1ee6fe75a71aa5c9300.jpg)
Сибирские учёные смогли перевести жестовый язык в голос и текст
Точность распознавания системы - 90%
Другие материалы рубрики
![На набережной около 3-х озёр на Пашенном уже стало красиво](/upload/iblock/5cc/2cmkbcv2fwg1rzib4gjp7xyppnkq1ett.jpg)
Завершаются работы первого этапа благоустройства
![Определены финалисты творческого конкурса медиафестиваля «Спас на Енисее - 2024»](/upload/iblock/231/mhmfqtnjdaigk0n3mh661cjfmehh8jsn.jpg)
Публикуем шорт-лист