手語是聽障人士彼此溝通的橋梁。但對於不懂手語的人來說,與聽障人士的交流總要借助手語翻譯。據央視網報道,北京航空航天大學研究生王娜娜和清華大學研究生黃爽研發出一種專門為聽障人士設計的“翻譯臂環”,可以直接將手語轉化成語音。下面就讓我們來了解一下這款翻譯臂環吧!
臂環示意圖 (圖片來源:中青在線)
“翻譯臂環”有著怎樣的設計原理?
據中國網報道,聽障人士可以攜帶臂環,將手語動作翻譯成語音,而正常人的語音也可以翻譯成文字顯示在臂環上,聽障人士和普通人之間可正常溝通。該臂環通過採集聽障人士打手語時產生的肌電信號、手臂加速度信號,將其轉換為語音來解決聽障人士的溝通難題。
臂環是怎樣識別手勢的?
這款臂環通過採集、識別手臂運動時產生的肌電信號來識別手勢。據國際在線報道,這款臂環有八個傳感器,其中有六個是肌電傳感器,還有一個陀螺儀、一個重力感應器。肌電感應就相當於肌肉運動的時候有一個振幅,通過這個採集的頻率,我們就可以分析出是哪塊肌肉或者哪個位置的振幅,找到相對應的手勢,再通過陀螺儀和重力感應器來判定位置,最終確定手勢。
同一個動作由不同的人來做會有差異,即使是同一個人重復做同一個動作也會不一樣。那如何讓電腦准確識別一個手勢動作呢?這就需要反復採集肌肉電信號。據央視網報道,研發人員用了一個多月的時間完成了30個手勢的錄入,每人至少重復比劃了一萬五千多次。將常用手勢錄入系統后,當系統再次遇見同一個手勢時,就能完成識別並將信息轉化成語音。
“智能臂環”如何進行深度學習?
據《中國青年報》報道,團隊在建立了手勢動作的數據庫之后,搭建了一個7層BP神經網絡對數據速度進行訓練。BP神經網絡是一種按誤差逆傳播算法訓練的多層前饋網絡,是目前應用最廣泛的神經網絡模型之一。經過深度學習,臂環的識別准確度已經達到95%,未來它還可能會實現和聽障人士對話、寫手語字幕、完成手語教學等功能。(劉洋)
本文由中國科學院計算機研究所工程師敖琪進行科學性把關。