Выпускник Новосибирского государственного университета (НГТУ) НЭТИ создал систему, которая упростит общение для людей с ограниченным слухом. Она может автоматически озвучивать язык жестов и позволяет управлять компьютером без помощи мыши. Об этом сообщила пресс-служба Министерства науки и высшего образования РФ.
Кроме того, с ее помощью можно настроить громкость и яркость на компьютере, а также управлять компьютерной мышью, не касаясь ее.
«Выпускник НГТУ НЭТИ Алексей Приходько завершил работу над прототипом системы, который переводит язык людей с нарушениями слуха и управляет компьютером при помощи жестов. <…> Система работает по аналогии с мозгом человека. При помощи камеры программа распознает картинку и фиксирует жесты, изображение переводит в модели и обрабатывает внутри системы, сопоставляя их с данными в нейронной сети, после чего компьютер выводит на монитор уже соответствующий жестам перевод», — говорится в сообщении ведомства.
Разработать хорошую систему для перевода с жестового языка сложно из-за особенностей его грамматики. Дело в том, что перевод напрямую зависит не только от конфигурации и ориентации рук, но и от их движения, месторасположения, а также выражения лица, движений губ и других знаков. Именно поэтому ни одна из существующих программ пока не может заменить живых переводчиков.
«Существует два способа распознавания жестов при помощи техники: безмаркерный и маркерный. Маркерная система — это когда на человека надеты специальные перчатки, приборы на запястья, браслеты и современные агрегаты, которые учитывают движение мышц и точки на корпусе человека. Я пошел сложным путем, который не требует больших затрат — моя программа безмаркерным методом распознает человека и его жесты при помощи камер», — сказал Приходько.