👌 ИИ учится переводить речь на язык жестов и обратно
Китайский стартап Limitless Mind создает систему перевода между обычной речью и языком жестов. Легкая модель предназначена для умных очков и смартфонов, чтобы глухие и слышащие общались без специального обучения. Пока проект находится на стадии прототипа и ищет инвесторов.
Хотя существуют системы перевода речи в текст, многие люди с нарушением слуха плохо читают, а жестовый язык для них родной и интуитивно понятный. При этом жесты различаются между регионами даже в одной стране, как диалекты языков, а для понимания важны движения рук, выражение лица, наклон головы, скорость жестов.
Исследователи собрали около 12 тыс. размеченных видео на разных «диалектах» с 3D-координатами движений рук, тела и мимики. На этих данных модель обучили распознавать жесты на видео и превращать их в текст, и наоборот — превращать текст или речь в жесты виртуального 3D-аватара.
Limitless Mind — не единственный ИИ для сурдоперевода. Облачные решения ранее разработали, например, китайские Baidu и Alibaba, а для американского языка жестов Google выпустила модель SignGemma.
👋 Подпишитесь на Hi, AI!
Комментарии