手语是听障人士彼此沟通的桥梁。但对于不懂手语的人来说,与听障人士的交流总要借助手语翻译。据央视网报道,北京航空航天大学研究生王娜娜和清华大学研究生黄爽研发出一种专门为听障人士设计的“翻译臂环”,可以直接将手语转化成语音。下面就让我们来了解一下这款翻译臂环吧!
臂环示意图 (图片来源:中青在线)
“翻译臂环”有着怎样的设计原理?
据中国网报道,听障人士可以携带臂环,将手语动作翻译成语音,而正常人的语音也可以翻译成文字显示在臂环上,听障人士和普通人之间可正常沟通。该臂环通过采集听障人士打手语时产生的肌电信号、手臂加速度信号,将其转换为语音来解决听障人士的沟通难题。
臂环是怎样识别手势的?
这款臂环通过采集、识别手臂运动时产生的肌电信号来识别手势。据国际在线报道,这款臂环有八个传感器,其中有六个是肌电传感器,还有一个陀螺仪、一个重力感应器。肌电感应就相当于肌肉运动的时候有一个振幅,通过这个采集的频率,我们就可以分析出是哪块肌肉或者哪个位置的振幅,找到相对应的手势,再通过陀螺仪和重力感应器来判定位置,最终确定手势。
同一个动作由不同的人来做会有差异,即使是同一个人重复做同一个动作也会不一样。那如何让电脑准确识别一个手势动作呢?这就需要反复采集肌肉电信号。据央视网报道,研发人员用了一个多月的时间完成了30个手势的录入,每人至少重复比划了一万五千多次。将常用手势录入系统后,当系统再次遇见同一个手势时,就能完成识别并将信息转化成语音。
“智能臂环”如何进行深度学习?
据《中国青年报》报道,团队在建立了手势动作的数据库之后,搭建了一个7层BP神经网络对数据速度进行训练。BP神经网络是一种按误差逆传播算法训练的多层前馈网络,是目前应用最广泛的神经网络模型之一。经过深度学习,臂环的识别准确度已经达到95%,未来它还可能会实现和听障人士对话、写手语字幕、完成手语教学等功能。(刘洋)
本文由中国科学院计算机研究所工程师敖琪进行科学性把关。