華為開發者大會2022（HDC）上，HMS Core手語數字人以全新形象亮相，並在直播中完成了長達3個多小時的實時手語翻譯，向線上線下超過一千萬的觀眾提供了專業、實時、準確的手語翻譯服務，為聽障人士提供了無障礙參會體驗。面對專業性強且詞彙量大的科技大會，HMS Core手語數字人是如何準確且流暢地打出手語的？

![](https://oscimg.oschina.net/oscnet/up-07344ecc501a69471c548906b30c20b4142.png)
 
### 【解決三大技術難題，科技詞彙信“手”拈來】

直播中的實時手語翻譯較傳統翻譯和文字轉手語的翻譯更為複雜，主要在於語音識別過程中各類場景聲學環境複雜難部署；手語詞彙資料量少，尤其是專業領域詞彙較為匱乏；同時，手語語言具有獨特的語序邏輯，並非按照日常說話順序逐字翻譯，而要對語句進行語序調整，比如“我有許多朋友，其中既有健聽人，也有聾人”的手語語序是“我/朋友/多，聽人/有，聾1/有”。由於手語視覺語言的獨特性，手語表達中表情、動作位置、動作方向、體態變化、動作幅度大小等都是影響手語可懂度的重要因素。

![](https://oscimg.oschina.net/oscnet/up-90a2c09ca41cc822a02d633ee76a179d17f.gif)

“我有許多朋友，其中既有健聽人，也有聾人。”的手語語序是

“我/朋友/多，聽人/有，聾1/有。”

為了讓手語數字人實現高可懂度的AI手語能力，HMS Core[手語服務](https://developer.huawei.com/consumer/cn/hms/signpal-kit/?ha_source=hmslt)技術團隊整合了“語音、手語”全鏈路的AI能力，解決了三大技術點：**語音識別的準確度、手語翻譯的準確度、手語動作的流暢度與節奏感。**

首先，為了確保直播中演講者語音能被精準識別，尤其是大量中英文混合的技術名詞，HMS Core手語數字人語音識別功能，採用動態的流式聲學建模技術，實現了1秒以內即可出識別結果，同時藉助熱詞等定製手段，專業術語的識別效果也得到了定向最佳化，這為手語數字人下一步的手語翻譯提供了高精準度的文字基礎。

在手語翻譯準確度方面，HMS Core[手語服務](https://developer.huawei.com/consumer/cn/hms/signpal-kit/?ha_source=hmslt)專門組織了一個動作最佳化團隊，並在機器翻譯、手語轉寫等演算法方面進行了創新：透過機器翻譯演算法，中文表達可快速轉寫為手語表達，並自動進行詞序調整、詞義消歧、表情分析；透過雙重遷移學習等方法，讓演算法理解句子的語義和語境，並準確估計出每個手語詞對應的體態、表情及口型，實現手語動作、體態、表情、口型全方位地生動表達，有效提升手語轉寫的準確率及速度。

此外，手語生成方案融合了大量手語語言學研究成果，透過調整詞、片語、句子之間的停頓及速度等，增強節奏感。同時，參考新聞手語主播的手語打法，預訓練模型的語句濃縮演算法，可將複雜的長句濃縮為簡單的短句，並基於語義進行翻譯，最終生成流暢且符合聽障人士表達習慣的手語動作。

對於在HDC大會上常用的科技詞彙“華為”，“鴻蒙”及“人工智慧”等，其標準打法已納入HMS Core手語詞彙庫。而對於大會上“原子化服務”等較少見的組合型專業詞彙，則按字面意思將其拆解成“原子”“化”“服務”三個手語動作，同時生成對應的口型。

![](https://oscimg.oschina.net/oscnet/up-6502e350cb056c7b0ad5c666f7bae324340.gif)

### 【產品競爭力躍升，從技術創新到產業應用】

HMS Core[手語服務](https://developer.huawei.com/consumer/cn/hms/signpal-kit/?ha_source=hmslt)經過一年多的發展和技術迭代，目前已支援**2萬+**中文手語詞彙，匹配日常溝通交流、新聞、教育、政務辦理等豐富場景。當前手語數字人不僅能流暢地打出手部動作，還有豐富的表情和準確的口動，從微笑、開心到驚訝、疑惑、失望等，多達**26種**表情，靈動又逼真，做到了“聽得準”、“翻得對”、“打得好”，更好地為保障聽障者的社會參與提供了助力。

目前，HMS Core[手語服務](https://developer.huawei.com/consumer/cn/hms/signpal-kit/?ha_source=hmslt)已攜手音書、知音、暢聽無礙、開普雲、棉花糖科技、未來媒體、矽基智慧等眾多開發者，成功將AI手語翻譯能力應用在各行各業，完善了無障礙環境建設。暢聽無礙app，透過整合HMS Core手語服務，在應用內實現了AI手語翻譯功能，讓聽障人士隨需隨用，滿足他們在日常生活中溝通交流、學習娛樂的需求，同時還能幫助他們在政府、醫療、金融、法律等專業公共服務領域實現無障礙交流。

HMS Core[手語服務](https://developer.huawei.com/consumer/cn/hms/signpal-kit/?ha_source=hmslt)的應用將不斷助力開發者搭建更好的無障礙傳播環境，幫助聽障者更好地享受資訊化發展成果，為他們帶來更多陪伴、更多實時互動以及更深的情感聯結。未來，HMS Core手語服務，將持續踐行“科技，不讓任何一個人掉隊”，與廣大開發者夥伴一起，助力構建數字生態，讓無障礙體驗惠及更多人。如需進一步瞭解，請訪問HMS Core手語服務。

**瞭解更多詳情>>**

訪問[華為開發者聯盟官網](http://developer.huawei.com/consumer/cn/hms?ha_source=hms1)  
獲取[開發指導文件](http://developer.huawei.com/consumer/cn/doc/development?ha_source=hms1)  
華為移動服務開源倉庫地址：[GitHub](http://github.com/HMS-Core)、[Gitee](http://gitee.com/hms-core)

**關注我們，第一時間瞭解 HMS Core 最新技術資訊~**

HDC2022的無障礙參會體驗，手語服務是如何做到的？

相關文章