Биоинженеры из инженерной школы Самуэли Калифорнийского университета в Лос-Анджелесе придумали устройство, похожее на перчатку, которое может переводить американский язык жестов на английский язык в реальном времени через приложение для смартфона. Система включает пару перчаток с тонкими растягиваемыми датчиками, которые проходят по длине каждого из пяти пальцев.
Датчики на перчатке сделаны из электропроводящей пряжи и улавливают движения рук и положения пальцев (которые обозначают отдельные буквы, числа, слова и фразы). Затем устройство превращает движения пальцев в электрические сигналы, которые отправляются на печатную плату размером с доллар, которую носят на запястье. Плата передает эти сигналы по беспроводной сети на смартфон, который переводит их в произносимые слова со скоростью примерно одно слово в секунду.
Кроме того, устройство включает в себя липкие датчики, которые устанавливаются на лицах испытуемых (между бровями и на одной стороне их рта), чтобы фиксировать выражения лиц, которые являются частью американского языка жестов. Устройство изготовлено из легких и недорогих, но долговечных, растяжимых полимеров. Электронные датчики также очень гибкие и недорогие.
Носимое устройство было протестировано на четырех глухих, говорящих на американском языке жестов. Пользователи повторяли каждый жест руки 15 раз, и специальный алгоритм машинного обучения преобразовал эти жесты в буквы, числа и слова, которые они представляли. Система распознала 660 знаков, включая каждую букву алфавита и цифры от 0 до 9. Устройство не является громоздким и неудобным, и позволяет людям, использующим язык жестов, напрямую общаться с лицами, не подписавшимися, без чьей-либо помощи. Коммерческая модель, основанная на этой технологии, потребует дополнительного словарного запаса и более быстрого перевода.