Актуальные новости дня

Новосибирск

Среда, 18 сентября 2019
6 сентября 2019   09:32

Глухой программист НГТУ НЭТИ обучил систему переводить жесты на русский язык и управлять компьютером без помощи мыши (видео)

В начале августа выпускник НГТУ НЭТИ завершил работу над прототипом системы, который переводит язык людей с нарушениями слуха и управляет компьютером при помощи жестов. Алексей Приходько — единственный глухой программист в мире, который работает над созданием автоматического переводчика жестов на звуковой язык. Для автора разработки русский жестовый язык (РЖЯ) — родной. Он и его семья — глухие. Алексей не слышит с детства, но это не помешало ему стать экспертом в программировании. Целеустремленность и математические способности помогли Алексею Приходько не только получить высшее образование в НГТУ НЭТИ и стать одним из самых успешных аспирантов университета, но и пройти стажировку в Германии по приглашению Гамбургского университета, одержать победу на хакатоне федерального проекта «Россия — страна возможностей», получить грант фонда Владимира Потанина, а также выступить в роли спикера на IT-конференции в Мюнхене и разработать прототип компьютерного переводчика РЖЯ. Сейчас выпускник НГТУ НЭТИ Алексей Приходько — единственный в мире программист и эксперт по разработке системы для перевода РЖЯ. «Я — исполнитель, я же — и разработчик. Представьте, если бы я занимался пианино, я не смог бы ремонтировать его, настраивать, потому что я его не слышу. То же самое и человек, который не знает жестового языка. Технически ему очень сложно работать над этим, потому что он не может учитывать всю специфику этой лингвистики», — утверждает Алексей Приходько. Основная функция программы, над которой работает Алексей, — перевод. Система работает по аналогии с мозгом человека. При помощи камеры программа распознает картинку и фиксирует жесты, изображение переводит в модели и обрабатывает внутри системы, сопоставляя их с данными в нейронной сети, после чего компьютер выводит на монитор уже соответствующий жестам перевод.

Помимо встроенной функции переводчика система способна управлять компьютером при помощи жестов. Движениями рук можно настроить громкость, яркость и управлять курсором на экране без помощи мыши.

По словам Алексея Приходько, сегодня существует много компаний, которые утверждают, что смогли создать готовый переводчик для глухих, они рекламируют его и уже даже продают. «Savvy Motion, Kinect Sign Language Translator в Microsoft Research и другие крупные компании до сих пор не смогли реализовать полностью эту задачу перевода с жестового языка на звуковой язык, поэтому качество работы таких приложений оставляет желать лучшего», — поделился он.

Проблема в разработке хорошего переводчика связана с главной особенностью жестового языка — его грамматикой. Именно поэтому сегодня ни одна программа не способна заменить живых переводчиков. Дело в том, что перевод напрямую зависит не только от конфигурации и ориентации рук, но и от их движения, месторасположения и так называемого лингвистами немануального компонента жестов (выражение лица, движение губ и другие знаки артикуляции).

«С письменного языка на жестовый переводить не сложно. Технически тяжело распознать жесты и их перевести. Все зависит еще от того, какая камера и какие датчики. Существует два способа распознавания жестов при помощи техники: безмаркерный и маркерный. Маркерная система — это когда у человека надеты специальные перчатки, приборы на запястья, браслеты и современные агрегаты, которые учитывают движение мышц и точки на корпусе человека. Я пошел сложным путем, который не требует больших затрат на специальное оборудование для создания программы с маркерной системой. Моя программа безмаркерным методом распознает человека и его жесты при помощи камер», — комментирует Алексей Приходько.

Безмаркерная система, которую использует в системе Алексей, при помощи специальных камер накладывает виртуальную «сетку» на получаемое изображение. На этой «сетке» программные алгоритмы находят опорные точки, по которым определяются жесты. Далее система обрабатывает данные и после воспроизводит заданные действия: перевод или управление.

«Если модель определяет, например, что пальцы раскрыты — буква В, если пальцы собраны — О. Согнулся локоть или нет. В зависимости от этого формируется некая математическая модель, которая создается из скелетной модели. И соответственно каждым числам из этой модели присваивается система координат, и на экране мы видим, какой это жест», — рассказал Алексей Приходько

Сейчас прототип переводит на уровне азбуки глухих. К защите кандидатской Алексей планирует обучить систему другим компонентам грамматики РЖЯ, чтобы в последующем довести программу уже до готового продукта для широкого использования среди глухих.

По словам заведующей лабораторией отдела специальных технологий обучения и реабилитации ИСТР Ольги Вариновой, разработка Алексея будет необходима не только для глухих, но и для обучения будущих переводчиков РЖЯ. «Сегодня есть острая нужда в таком переводчике. Словари с русского языка на русский жестовый есть, но с РЖЯ на русский — нет. Некоторые задания студенты выполняют с огромным трудом, если среди их знакомых нет глухих, которые бы могли проконсультировать и помочь. Поэтому мы так рассчитываем на разработку Алексея», — комментирует она.

Помимо переводчика РЖЯ, Алексей Приходько работает и над другими проектами. В начале июля 2019 года проект «Жестовый интерфейс» принес победу программисту и его команде на конкурсе «Цифровой прорыв» федерального проекта «Россия — страна возможностей». За 36 часов команда единомышленников разработала проект для обучения глухих на РЖЯ и попала в число потенциальных участников финала всероссийского конкурса разработчиков.

Проект «Жестовый интерфейс» участвовал в конкурсе «Цифровой прорыв», а проект «Математика в тишине» в другом конкурсе, в летней школе — 2017 Потанина.

В настоящее время Алексей Приходько ищет инвесторов, которые захотят участвовать в проекте по разработке переводчика РЖЯ. «Я бы смог доработать прототип до конечного продукта за 1—2 года, если бы кто-то готов был инвестировать. Мне не хватает сейчас ресурсов на работу над системой и кандидатской диссертацией (денежные расходы на патент, защиту и консультацию, переводчик РЖЯ)», — рассказал Алексей.

Видео работы системы Алексея Приходько

Справка

В 2013 году Алексей Приходько окончил бакалавриат на АВТФ-ИСТР НГТУ НЭТИ по специальности «Информатика и вычислительная техника». В 2015 году он получил степень магистра на факультете автоматики и вычислительной техники (АВТФ) НГТУ НЭТИ, в августе 2019 года окончил аспирантуру на кафедре автоматизированных систем управления (АСУ) университета.

Фоторепортаж Информация для СМИ:

Юрий Лобанов, пресс-секретарь, +7-923-143-50-65, is@nstu.ru

Алина Рунц, журналист, +7-913-062-49-28, derevyagina@corp.nstu.ru

Руслан Курбанов, корреспондент, +7-913-772-30-78, kurbanov@corp.nstu.ru

Фотограф: К. Жуков

Источник: www.nstu.ru

В областном Управлении по вопросам миграции состоялось торжественное мероприятиеСегодня в Управлении по вопросам миграции ГУ МВД России по Новосибирской области состоялось торжественное собрание, посвященное 300-летию службы. Начальник Управления по вопросам миграции Юрий Кузьмич Звягинцев в своем докладе кратко остановился на о... 17.09.2019 17:02

АНОНС: Технологии «Умного города» представят в рамках «Технопрома-2019»18-20 сентября технологии «Умного города» будут представлены в международном выставочном комплексе «Новосибирск Экспоцентр» в рамках «Технопрома-2019». Мэрия Новосибирска и компании города — участники программы цифровизации городского хозяйства «Умны... 17.09.2019 16:03

В вечерней школе №46, осуществляющей деятельность в ИК-2, назначили нового директораВакантная должность руководителя, существовавшая в данной образовательной организации пусть и непродолжительное время, наконец, заполнена. Стоит заметить, что с соблюдением всех демократических принципов и процедур на неё претендовали три кандидата. Отстаив... 17.09.2019 15:33

Полторы тысячи иконок, оберегающих от пожаров, подарили верующим в Новосибирской области (фото)В честь праздника чудотворной иконы «Неопалимая Купина», который отмечается православными верующими 17 сентября, на выставке пожарно-спасательной службы Новосибирской области провели торжественную встречу с пожарными, ветеранами службы, кадетами МЧС России ... 17.09.2019 15:04

Вынесен обвинительный приговор несовершеннолетним, избивших в г. Барабинске своих сверстниковСегодня, 17 сентября 2019 года, мировой судья 2-го судебного участка Барабинского судебного района вынес приговор по уголовному делу в отношении трех 17-летних жителей г. Барабинска.Несовершеннолетние подростки в апреле 2019 года причинили побои и легкий вред ... 17.09.2019 14:33

Разработка Новосибирских учёных поможет создать ядерно-термоядерный реакторКонцепция гибридного реактора, который может стать более безопасной и компактной альтернативой для атомной энергетики, включает в модель плазменные ловушки, созданные ИЯФ СО РАНВ рамках гранта РНФ сотрудники нескольких российских институтов, разработали и опуб... 17.09.2019 14:03

Внимание, розыск!Отделом полиции № 4 «Калининский» Управления МВД России по городу Новосибирску разыскивается без вести пропавший Усольцев Сергей Михайлович, 02.04.1972 года рождения, который 30.05.2019 ушел от дома 18 по улице Александра Невского и до настоящего времени не ве... 17.09.2019 13:33

Открытие очистного сооружения на «Балтике» — шаг ответственного бизнесаЦель установки — обеспечить наименьшее воздействие стоков предприятия на окружающую среду. Среди преимуществ комплекса представители компании выделяют высокую степень очистки, надежность эксплуатационной безопасности и низкий расход электроэнергии. Благодар... 17.09.2019 13:02

В Советском районе пропал мужчинаПоисковый отряд «Маяк» просит помощи в розыске пропавшего Юсупа Курмушова. Он ушел из дома 14 августа около семи часов утра и пропал. – Мужчина проживал на улице 2-й Миргородской в микрорайоне Шлюз. До настоящего момента его местонахождение не ... 17.09.2019 12:34

В Новосибирской области мотоциклист протаранил столб и умерО трагическом ДТП в Черепановском районе области рассказали 17 сентября в пресс-службе полицейского главка по региону- В 12.30 в городе Черепаново 44-летний водитель, управляя мотоциклом "Урал", двигался по улице Ленина в рабочем посёлке Дорогино и в пути след... 17.09.2019 12:03

Сотрудниками уголовного розыска задержаны «автоподставщики»В ходе оперативно-розыскных мероприятий сотрудниками управления уголовного розыска ГУ МВД России по Новосибирской области задержаны двое жителей Томской области, подозреваемые в совершении мошенничества. 11 сентября в Центральном районе Новосибирска на улиц... 17.09.2019 11:34

ОБЪЯВЛЕНИЕ: Горячий телефон ДЭЖиКХЗавтра, 18 сентября, с 14 до 15 часов в департаменте энергетики, жилищного и коммунального хозяйства города будет работать горячий телефон. Специалисты ответят на вопросы новосибирцев об административной ответственности за ненадлежащее содержание соб... 17.09.2019 11:03

Раскрыт угон автомобиля в Заельцовском районе1 сентября  в отдел полиции № 3 «Заельцовский» Управления МВД России по городу Новосибирску с заявлением обратился местный житель. Он  сообщил, что при  неизвестных обстоятельствах от дома по улице К. Минина  пропал его автомобиль «ВАЗ 21013». Сумма ущерба ... 17.09.2019 10:33

В Новосибирске по материалам прокуратуры в отношении руководителя организации возбуждено уголовное дело по факту невыплаты заработной платыПрокурор Ленинского района г. Новосибирска проверил в ООО «Бастион Новосибирск» соблюдение трудового законодательства.При изучении бухгалтерской и кадровой документации строительной организации выявлена полная невыплата свыше 2 месяцев заработной платы 186 раб... 17.09.2019 10:04

Международный форум "Технопром-2019"Международный форум и выставка технологического развития «ТЕХНОПРОМ» – крупнейшее технологическое мероприятие России, главной целью которого является продвижение отечественных научных разработок и инноваций. Состоится в г. Новосибирске 18-20 сентября ... 17.09.2019 09:34

Проезд по улице Бориса Богаткова в Новосибирске затруднят на три неделиСообщение о сужении проезжей части на оживлённой транспортной артерии Дзержинского района появилось на официальном сайте мэрии областной столицы утром вторника, 17 сентябряПо информации пресс-службы муниципалитета, с 17 сентября по 6 октября на улице Бориса Бо... 17.09.2019 09:02

Путин помиловал жительницу Новосибирской области, убившую мужа ножомИвасюк убила супруга после того, как он её избил и пытался зажать её голову дверью Таким образом Оксане Ивасюк осталось отбыть меньше половины срока Президент России Владимир Путин помиловал жительницу Новосибирской области, убившую мужа ножом... 17.09.2019 08:32

Под Новосибирском произошло ДТП со смертельным исходомСегодня в 00.40 39-летний мужчина, управляя автомобилем Toyota Camry, двигался по автодороге село Алексеевка – Новосибирск и в пути следования, не справившись с управлением, допустил опрокидывание автомобиля в кювет. В результате ДТП водитель автомоб... 17.09.2019 08:02

Внимание! Устанавливается личность человекаУправлением МВД России по городу Новосибирску устанавливается личность гражданки, доставленной 4 сентября 2019 года в 34-ю Городскую клиническую больницу с травмой головы. Женщина находится без сознания, в настоящее время ее личность не установлена. ... 17.09.2019 07:32

Команда чемпионов: бердчане победили в турнире «Кожаный мяч»Команда «Кристалл СШ Бердск» заняла первое место во всероссийском турнире и выиграла главный приз – поездку на матч с участием национальной сборной по футболу за границей. К слову, это не первая победа бердчан. Лучшими они стали и в 2017 году. 14 сент... 17.09.2019 07:02

Двоих хоккеистов пожизненно дисквалифицировали за драку в НовосибирскеКак сообщается на официальном портале ЛЛХК (Лига любительского хоккея Новосибирска), конфликт двух игроков разных команд рассматривали в правлении РОО «Федерации хоккея Новосибирской области». Напомним, инцидент произошёл в воскресенье , 15 сентября,... 17.09.2019 06:02

В массовом ДТП под Новосибирском погибли три человекаСмертельная авария произошла в Черепановском районе на 118-м километре автодороги Р-256 в 19:10 воскресенья, 15 сентябряПо данным Госавтоинспекции, в столкновении приняли участие легковые Mitsubushi Galant и Toyota Opa, а также большегруз Volvo. Как полагают в... 17.09.2019 04:02

В ГНЦ «Вектор» в наукограде Кольцово произошел взрывНа место происшествия приехал мэр наукограда Николай Красников. Также работают скорая, МЧС и полиция. Как рассказывают местные жители, внешне ничего не выдает ЧП, если не считать сотрудников спецслужб около здания «Вектора». Как сообщил изданию Комме... 17.09.2019 03:32

Закрытие движения и сужения проезжей частиС 16 по 27 сентября закрывается движение транспорта на участке ул. Пожарского в районе дома № 103 на ул. Героев Революции. Объезд доступен по ул. Первомайской. С 16 по 30 сентября на шесть метров сужается проезжая часть ул. Писарева в районе д... 16.09.2019 19:32

По инициативе прокуратуры на владельцев детского игрового оборудования возбуждены административные делаКуйбышевской межрайонной прокуратурой проведена проверка соблюдения предпринимателями законодательства в сфере защиты жизни и здоровья детей при эксплуатации детского игрового оборудования.Установлено, что предприниматели предоставляли услуги по посещению аттр... 16.09.2019 19:02

Правительство региона усовершенствовало порядок предоставления жилья детям-сиротамПравительством Новосибирской области одобрены изменения в законодательство региона, регулирующее обеспечение жилыми помещениями детей-сирот и детей, оставшихся без попечения родителей. Вопрос рассмотрен 16 сентября на заседании Правительства региона, которо... 16.09.2019 18:34

Колесо обозрения на Михайловской набережной выставили на продажуЗа аттракцион просят 20 миллионов рублей Объявление о продаже старого аттракциона на Avito заметили вскоре после того, как на набережной установили новое колесо Колесо обозрения на Михайловской набережной выставили на продажу за 20 миллионов р... 16.09.2019 18:02

Следователи организовали проверку после возгорания в центре вирусологии «Вектор»По информации пресс-службы СУ СК России по Новосибирской области, следователи организовали уголовно-процессуальную проверку после возгорания в центре вирусологии в Кольцово «Вектор». Проверка проходит по признакам состава преступления, предусмотренного стат... 16.09.2019 17:32

Японцы привезли желтую трубу белому медведю КаюЯпонцы привезли желтую трубу белому медведю Каю. Он с удовольствием играет своей новой игрушкой. У белого мишки Кая из Новосибирского зоопарка появилась новая игрушка из Японии. Он с удовольствием играет желтой трубой. Сувенир для медведей япо... 16.09.2019 17:05

В поселке Мичуринский есть свой МичуринЭтот поселок граничит с Советским районом Новосибирска. И даже не верится, что там, на обычном сибирском приусадебном участке, Анатолий Степанович Сидорович выращивает около 140 сортов винограда! Южной культурой пенсионер занимается уже 14 лет, а в ц... 16.09.2019 16:33

© "JJEW" Новости регионов России, 2017. | e-mail: site@jjew.ru

Мнение редакции интернет сайта jjew.ru никогда не совпадает с мнением, высказаным в новостях.

Яндекс цитирования

Пресс-релизы | Новости.