Актуальные новости дня

Новосибирск

Понедельник, 20 января 2020
6 сентября 2019   09:32

Глухой программист НГТУ НЭТИ обучил систему переводить жесты на русский язык и управлять компьютером без помощи мыши (видео)

В начале августа выпускник НГТУ НЭТИ завершил работу над прототипом системы, который переводит язык людей с нарушениями слуха и управляет компьютером при помощи жестов. Алексей Приходько — единственный глухой программист в мире, который работает над созданием автоматического переводчика жестов на звуковой язык. Для автора разработки русский жестовый язык (РЖЯ) — родной. Он и его семья — глухие. Алексей не слышит с детства, но это не помешало ему стать экспертом в программировании. Целеустремленность и математические способности помогли Алексею Приходько не только получить высшее образование в НГТУ НЭТИ и стать одним из самых успешных аспирантов университета, но и пройти стажировку в Германии по приглашению Гамбургского университета, одержать победу на хакатоне федерального проекта «Россия — страна возможностей», получить грант фонда Владимира Потанина, а также выступить в роли спикера на IT-конференции в Мюнхене и разработать прототип компьютерного переводчика РЖЯ. Сейчас выпускник НГТУ НЭТИ Алексей Приходько — единственный в мире программист и эксперт по разработке системы для перевода РЖЯ. «Я — исполнитель, я же — и разработчик. Представьте, если бы я занимался пианино, я не смог бы ремонтировать его, настраивать, потому что я его не слышу. То же самое и человек, который не знает жестового языка. Технически ему очень сложно работать над этим, потому что он не может учитывать всю специфику этой лингвистики», — утверждает Алексей Приходько. Основная функция программы, над которой работает Алексей, — перевод. Система работает по аналогии с мозгом человека. При помощи камеры программа распознает картинку и фиксирует жесты, изображение переводит в модели и обрабатывает внутри системы, сопоставляя их с данными в нейронной сети, после чего компьютер выводит на монитор уже соответствующий жестам перевод.

Помимо встроенной функции переводчика система способна управлять компьютером при помощи жестов. Движениями рук можно настроить громкость, яркость и управлять курсором на экране без помощи мыши.

По словам Алексея Приходько, сегодня существует много компаний, которые утверждают, что смогли создать готовый переводчик для глухих, они рекламируют его и уже даже продают. «Savvy Motion, Kinect Sign Language Translator в Microsoft Research и другие крупные компании до сих пор не смогли реализовать полностью эту задачу перевода с жестового языка на звуковой язык, поэтому качество работы таких приложений оставляет желать лучшего», — поделился он.

Проблема в разработке хорошего переводчика связана с главной особенностью жестового языка — его грамматикой. Именно поэтому сегодня ни одна программа не способна заменить живых переводчиков. Дело в том, что перевод напрямую зависит не только от конфигурации и ориентации рук, но и от их движения, месторасположения и так называемого лингвистами немануального компонента жестов (выражение лица, движение губ и другие знаки артикуляции).

«С письменного языка на жестовый переводить не сложно. Технически тяжело распознать жесты и их перевести. Все зависит еще от того, какая камера и какие датчики. Существует два способа распознавания жестов при помощи техники: безмаркерный и маркерный. Маркерная система — это когда у человека надеты специальные перчатки, приборы на запястья, браслеты и современные агрегаты, которые учитывают движение мышц и точки на корпусе человека. Я пошел сложным путем, который не требует больших затрат на специальное оборудование для создания программы с маркерной системой. Моя программа безмаркерным методом распознает человека и его жесты при помощи камер», — комментирует Алексей Приходько.

Безмаркерная система, которую использует в системе Алексей, при помощи специальных камер накладывает виртуальную «сетку» на получаемое изображение. На этой «сетке» программные алгоритмы находят опорные точки, по которым определяются жесты. Далее система обрабатывает данные и после воспроизводит заданные действия: перевод или управление.

«Если модель определяет, например, что пальцы раскрыты — буква В, если пальцы собраны — О. Согнулся локоть или нет. В зависимости от этого формируется некая математическая модель, которая создается из скелетной модели. И соответственно каждым числам из этой модели присваивается система координат, и на экране мы видим, какой это жест», — рассказал Алексей Приходько

Сейчас прототип переводит на уровне азбуки глухих. К защите кандидатской Алексей планирует обучить систему другим компонентам грамматики РЖЯ, чтобы в последующем довести программу уже до готового продукта для широкого использования среди глухих.

По словам заведующей лабораторией отдела специальных технологий обучения и реабилитации ИСТР Ольги Вариновой, разработка Алексея будет необходима не только для глухих, но и для обучения будущих переводчиков РЖЯ. «Сегодня есть острая нужда в таком переводчике. Словари с русского языка на русский жестовый есть, но с РЖЯ на русский — нет. Некоторые задания студенты выполняют с огромным трудом, если среди их знакомых нет глухих, которые бы могли проконсультировать и помочь. Поэтому мы так рассчитываем на разработку Алексея», — комментирует она.

Помимо переводчика РЖЯ, Алексей Приходько работает и над другими проектами. В начале июля 2019 года проект «Жестовый интерфейс» принес победу программисту и его команде на конкурсе «Цифровой прорыв» федерального проекта «Россия — страна возможностей». За 36 часов команда единомышленников разработала проект для обучения глухих на РЖЯ и попала в число потенциальных участников финала всероссийского конкурса разработчиков.

Проект «Жестовый интерфейс» участвовал в конкурсе «Цифровой прорыв», а проект «Математика в тишине» в другом конкурсе, в летней школе — 2017 Потанина.

В настоящее время Алексей Приходько ищет инвесторов, которые захотят участвовать в проекте по разработке переводчика РЖЯ. «Я бы смог доработать прототип до конечного продукта за 1—2 года, если бы кто-то готов был инвестировать. Мне не хватает сейчас ресурсов на работу над системой и кандидатской диссертацией (денежные расходы на патент, защиту и консультацию, переводчик РЖЯ)», — рассказал Алексей.

Видео работы системы Алексея Приходько

Справка

В 2013 году Алексей Приходько окончил бакалавриат на АВТФ-ИСТР НГТУ НЭТИ по специальности «Информатика и вычислительная техника». В 2015 году он получил степень магистра на факультете автоматики и вычислительной техники (АВТФ) НГТУ НЭТИ, в августе 2019 года окончил аспирантуру на кафедре автоматизированных систем управления (АСУ) университета.

Фоторепортаж Информация для СМИ:

Юрий Лобанов, пресс-секретарь, +7-923-143-50-65, is@nstu.ru

Алина Рунц, журналист, +7-913-062-49-28, derevyagina@corp.nstu.ru

Руслан Курбанов, корреспондент, +7-913-772-30-78, kurbanov@corp.nstu.ru

Фотограф: К. Жуков

Источник: www.nstu.ru

Женщина с «крокодиловой» сумочкой исчезла из своей квартиры49-летняя женщина пропала в Центральном районе Новосибирска. Поиски пропавшей ведут полицейские и волонтеры «Лиза Алерт». 49-летняя Лариса Мусиенко пропала 15 января. В этот день родные приехали к ней в квартиру на Каменской и не нашли ее там. К волонтера... 20.01.2020 17:04

В институте Академгородка прогремел взрыв, пострадал научный сотрудникУчёный проводил эксперимент на самодельном оборудовании в Институте теоретической и прикладной механики (ИТПМ) СО РАН17 января в 13:30 в горбольницу доставили мужчину с травмой глаза. Как стало известно, ранение он получил на рабочем месте – в ИТПМ СО ... 20.01.2020 16:02

Изменят схему движения маршрутки №54 в НовосибирскеПо информации пресс-службы мэрии Новосибирска, с 21 января 2020 года изменят схему движения маршрутного такси № 54 «Затулинский ж/м – Ул. Спортивная». «Движение транспортных средств по направлению от улицы Титова до улицы Ватутина будет организовано ... 20.01.2020 15:32

Вынесен приговор по уголовному делу об убийствеСегодня 20 января т.г., Новосибирским областным судом вынесен приговор 23-летнему Александру Шелепову.Суд признал Шелепова виновным в умышленном причинении смерти человеку (ч.1 ст.105 УК РФ) и покушении на умышленное причинение смерти двум лицам из хулиганских... 20.01.2020 14:32

Парень не рассчитался за ужин и сбежал от девушки в НовосибирскеКак сообщила пресс-служба агентства безопасности «Гвардия», в ресторане на Красном проспекте в Новосибирске двое молодых людей не смогли расплатиться за романтический ужин. Для расчёта с официантом влюблённым не хватило 2,5 тысячи рублей. Парочка реш... 20.01.2020 14:03

В Новосибирской области в выходные дни произошло 30 пожаровРост числа бытовых пожаров в Новосибирской области традиционно происходит в выходные дни. Короткое замыкание электропроводки, неправильное устройство и неисправность отопительных печей и дымоходов, неосторожное обращение с огнем и при курении, – именно с та... 20.01.2020 13:33

В Новосибирске снизилось количество аварий с участием детейВ 2019 году в Новосибирске произошло снижение дорожно-транспортных происшествий с участием детей. Всего в городе зарегистрировано 126 таких ДТП, что на 26,6% или 53 факта меньше в сравнении с предыдущим годом. В указанных авариях 4 ребенка погибли, 132 полу... 20.01.2020 13:02

Во время крещенских купаний в Новосибирской области происшествий не допущено (фото)Более 33 тысяч человек приняли участие в крещенских купаниях на территории Новосибирской области, из них более 18 тысяч в городе Новосибирск. Безопасность граждан обеспечивали специалисты МЧС России, полиции, скорой помощи, районных администраций. На террит... 20.01.2020 12:32

В Татарске прокуратура проводит проверку в связи с пожаром торгового центраТатарский межрайонный прокурор организовал проверку в связи с произошедшим 18 января т.г., в дневное время пожаром торгового здания в г. Татарске по ул. Ленина, 104.Предварительно установлено, что в изолированном помещении площадью около 800 кв. м. произошло в... 20.01.2020 12:03

Принимаются заявки на участие во Всероссийском конкурсе «Моя страна – моя Россия»Конкурс «Моя страна – моя Россия» является многолетней гражданской инициативой, направленной на создание условий для формирования гражданской идентичности, активной и ответственной позиции в решении локальных проблем социально-экономического и пространствен... 20.01.2020 11:33

В Новосибирске мужчину отправят в тюрьму за кражу мясаВ Новосибирске мужчину отправят в тюрьму за кражу куска мяса. Об этом сообщает пресс-служба ГУ МВД России по Новосибирской области. Злоумышленник 25 декабря 2019 года в магазине на улице Галущака в Заельцовском районе украл кусок мяса, продал его, а ... 20.01.2020 11:04

Горячая линия о мерах социальной поддержки семей при рождении детей пройдет в Новосибирской областиСпециалисты министерства ответят на вопросы о ежемесячных выплатах семьям, имеющим детей, расcкажут о сроках предоставления выплат, размерах, условиях получения. Номер телефона горячей линии: 8-800-100-0082. Время работы: с 9.00 до 18.00. С до... 20.01.2020 10:04

Рабочая неделя началась с морозов в НовосибирскеПо информации портала «Яндекс. Погода», в понедельник, 20 января 2020 года, температура днём составит -21°С, погода будет ясной. В ночь на вторник, 21 января, ожидается -25°С, днём — -22°С и солнце. Ночью в среду, 22 января, синоптики обещают ... 20.01.2020 09:32

Золото и бронза домашнего чемпионата страныВ международном выставочном комплексе «Новосибирск Экспоцентр» в воскресенье, 19 января, завершился 29-й чемпионат России по греко-римской борьбе. В заключительный день соревнований новосибирские борцы смогли завоевать сразу две медали в весовой категории до 8... 20.01.2020 09:02

В Новосибирске произошло ДТП с участием нетрезвого водителя19.01.2020 в 17.00 на улице Станционной у дома 78/1 37-летний водитель автомобиля «Мерседес Бенц», следовавший со стороны улицы Порт-Артурская в сторону улицы 2-я Станционная, совершил столкновение с автомобилем ВАЗ-21120 под управлением 53-летнего водителя... 20.01.2020 08:32

Сибирские таможенники добавили 50 млрд рублейВ 2019 году Сибирское таможенное управление (СТУ) перечислило в федеральный бюджет 161,79 млрд руб. Это примерно на 50 млрд руб. превышает аналогичный показатель предыдущего года, сообщает корреспондент Sibnovosti.ru. Результат 2018 года составлял 11... 20.01.2020 08:02

Дайджест решений в сфере контроля закупок на неделе с 16 по 20 декабря 2019 года20.12.2019 Решением № 054/06/66-2594/2019 Комиссия Новосибирского УФАС России по контролю в сфере закупок признала жалобу ООО СК «Монолит» на действия комиссии по осуществлению закупок ГКУ НСО «УКСис» при проведении электронного аукциона №08512000006... 20.01.2020 07:32

Иномарку смяло после столкновения с троллейбусом в НовосибирскеДТП с участием пассажирского транспорта произошло утром 20 январяАвария, в которой хэтчбэк столкнулся с трамваем, произошла на улице Гоголя. Как сообщают очевидцы, водитель легкового автомобиля Honda Fit не успел вовремя затормозить и врезался в заднюю часть т... 20.01.2020 07:02

В Заельцовском районе полицейские задержали подозреваемого в краже25 декабря 2019 года в магазине, расположенном на улице Галущака, неизвестный похитил из холодильника мясо. Работники магазина, обнаружив пропажу, сообщили о произошедшем в полицию. Ущерб составил более3,5 тысяч рублей. В ходе проведения оперативных ... 19.01.2020 15:02

Двухлетний мальчик оказался заперт один в квартире в НовосибирскеМатери пришлось вызывать спасателей, чтобы они помогли освободить ребёнкаКогда женщина обнаружила, что её ребёнок 2017 года рождения заперт один в квартире на улице Римского Корсакова, она позвонила в Муниципальную аварийно-спасательную службу. Специалисты МАС... 19.01.2020 14:33

Неизвестный разбил каршеринговый автомобиль в НовосибирскеОчевидцы обнаружили в Ленинском районе разбитый каршеринговый автоАвтомобиль Hyundai Solaris стоял во дворе дома микрорайона Горский. На автомобиле нанесены опознавательные знаки фирмы «Делимобиль». Найденное авто оказалось серьёзно повреждено, о чем жители ра... 19.01.2020 14:02

Более 100 спасателей МЧС России обеспечивают безопасность Крещенских купаний (фото)Во всех местах проведения крещенского обряда на территории Новосибирской области организовано дежурство более 100 специалистов МЧС России. До полуночи у иорданей будут продолжаться обряды купания и дежурство сотрудников оперативных служб. По состоянию на 11... 19.01.2020 13:33

Хозяин дома погиб при пожаре в НовосибирскеХозяин дома погиб при пожаре в Новосибирске. Возгорание случилось вечером 18 января в Кировском районе. Звонок на пульт дежурного о возгорании дома в пер. 1-й Чукотский поступил в 21.31. Прибыв на место, пожарные обнаружены, что огнем охвачена полови... 19.01.2020 13:02

Трамвай сошёл с рельсов в НовосибирскеУтром 19 января на левом берегу сошёл с рельсов трамвайИнцидент произошёл на пересечении улиц Титова и Троллейной, неподалёку от остановки «Клуб имени Чехова». Трамвай занесло и он слетел с рельсов. В этот момент внутри находились пассажиры. Вагон трамвая разв... 19.01.2020 12:32

Омовение и святая вода: как в Новосибирске проходит праздник КрещенияУ православных сегодня Крещение. Большой светлый праздник. С историей в две тысячи лет. Когда, по преданию, Христос принял крещение в реке Иордан. Накануне днём и сегодня в храмах совершают чин освящения воды. Верующие приписывают ей особые целебные свойства: ... 19.01.2020 11:33

В Новосибирске разрабатывают препараты для быстрого восстановления спортсменовВ новосибирском наукограде Кольцово разрабатывают инъекционный препарат, способный повлиять на быстрое восстановление спортсменов после тяжелых тренировок или травм. Особенность лекарства в том, что оно не содержит запрещенных веществ и не создаст проблем п... 19.01.2020 11:02

В новосибирском Татарске произошел пожар в торговом центреПожар ликвидирован в торговом центре «Швейка» в городе Татарске в Новосибирской области, пострадавших нет, сообщает ГУ МЧС РФ по региону. Сигнал о возгорании поступил в 16:30 мск. Когда пожарные прибыли на место, из трехэтажного здания шел густой чер... 19.01.2020 07:32

Бомж украл у прохожей телефон в НовосибирскеВ Ленинском районе бродяга и отобрал у женщины мобильный телефон, стоимостью семь тысяч рублейПреступление произошло у дома по улице Титова. Жительница Ленинского района не сразу заметила пропажу, однако, когда спохватилась, немедленно обратилась в полицию. Со... 19.01.2020 07:02

Трехэтажный торговый центр сгорел в Татарске Новосибирской областиТрехэтажный торговый центр сгорел в Татарске Новосибирской области. Жертв нет. Звонок на пульт дежурного о том, что на улице Ленина загорелось здание торгового центра «Швейка» поступил в 16.30. Пожар охватил здание площадью 120 кв. м. Полностью ликви... 18.01.2020 18:32

«На этот раз в Татарске»: еще один рынок сгорел в регионеСегодня, 18 января, в одном из торговых центров татарского района Новосибирской области произошел пожар. В огне никто не пострадал, и пожарные сумели погасить пламя. Это уже не первое происшествие в регионе за последние несколько дней. Возгорание в т... 18.01.2020 18:02

© "JJEW" Новости регионов России, 2017. | e-mail: site@jjew.ru

Мнение редакции интернет сайта jjew.ru никогда не совпадает с мнением, высказаным в новостях.

Яндекс цитирования

Пресс-релизы | Новости.