人民網
人民網>>科普中國>>硬核北京

數字人會手語?核心技術大揭秘

朱雯鈺
2021年11月02日10:55 | 來源:人民網
小字號

9月24日至28日,2021中關村論壇在北京舉行。本次論壇以“智慧·健康·碳中和”為年度主題,邀請專家、學者積極交流合作。期間,來自清華大學的冬奧手語播報數字人系統亮相該論壇,吸引了許多人駐足觀看。

什麼是手語播報數字人?

在這個信息技術飛速發展的時代,人人都需要獲取大量的信息。然而,傳統手語播報主持人翻譯工作量大、與節目主持人配合難度高,一定程度上限制了聽障人士對於信息的獲取,基於AI 技術的手語播報數字人成為解決這一難題的新興途徑。

手語播報數字人,不僅擁有生動的表情神態、豐富的肢體語言,還擁有一個能夠理解、翻譯語音和手語的數字雙輪驅動虛擬數字腦。它配置了高速准確的數據採集裝置,涵蓋嘴形、表情、姿態、手部動作等多種素材。為了提高冬奧播報的准確性,研發團隊專門構建了冬奧手語語料庫,包括多模態肢體動作、表情、手指等語料,專門訓練數字腦掌握手語表達的方法。同時,手語數字腦可以通過計算機模仿聽障人士的大腦,將看到的中文文本信息實時轉換成手語詞匯序列。

技術依托:“悟道”大模型

手語數字播報的實現,離不開全球最大的超大規模智能模型“悟道2.0”。“悟道”大模型開放平台,可以使企業通過 “大模型+少量微調”的AI開發模式,實現十億級別模型的在線訓練與微調,規模化地進行AI應用開發,大大降低大模型開發門檻。

基於智源“悟道”大模型,結合冬奧的相關信息,悟道大模型實現了文本到手勢的自動轉化。當播報員在播報時,數字人可以將文字轉換成手語,方便聽障人士收看賽事專題報道。冬奧手語播報數字人系統是“悟道 2.0”超大規模預訓練模型的首次實際場景應用,它依托智譜AI 打造的“數據”與“知識”雙輪驅動智能平台,實現了冬奧期間賽事新聞的實時手語翻譯播報。

數字人的未來,不止於手語播報

隨著人工智能技術的不斷演進,除了手語播報,數字人也進入了其他領域,如向大家介紹空間站情況的數字記者小諍、游戲直播行業涌現的各類虛擬人物等。

如今,在技術蓬勃發展的新風口下,數字人不僅達到了人像的寫實級逼真程度,還具備了一定的溝通交流能力。虛擬互動技術的擴展,讓數字人可以進入到醫學、礦學和航天學等精細或危險領域。未來,數字人將具備類似人的看、聽、說和知識邏輯能力,使人工智能的發展更進一步。

指導老師:中國傳媒大學經濟與管理學院副教授 於晗

專家:中國傳媒大學信號與信息處理專業副教授余心樂

(責編:宋文珍、楊鴻光)

分享讓更多人看到

返回頂部