無聲的AI：昇騰AI如何用大模型破解手語學習的難題？

你是否遇到過這種較為特殊的外賣或快遞，僅能透過簡訊而無法使用電話提醒送達。此時如果簡訊被忽略，語言交流的難題就出現了。

“為什麼不接電話?”“為什麼未經我的允許就把快遞放到驛站?”這些對於聽人來說可以輕鬆解釋溝通的問題，聾人工作者卻因無法聽到客戶電話傳遞的需求，而令雙方產生誤解。

當遇到急需辯白或者法律訴訟這種強調溝通嚴謹性的場合，聾人則更為弱勢。在這些場合聾人如果使用書面表達，不僅效率降低，翻譯得不準確反而會帶來更多波折。有訴訟需求的聾人能否使用手語表達意願且被準確理解，將直接關係到他們自身權益的維護結果。

據第二次殘疾人抽樣調查，目前我國聽力障礙人數接近3000萬，是國內最大的殘障群體。其中，聽力障礙兒童總數達460多萬人，7歲以下聽障兒達80萬人，每年新增加聽障新生兒2-3萬餘名。對於如此龐大的人群，手語是他們開啟與世界交流的“窗戶”，但手語的學習之路似乎並不那麼簡單順暢。

千萬聽力障礙者的溝通障礙

在新聞聯播中，我們都見過這個場景，電視畫面左下角的手語主持人，她們上下翻飛的熟練手勢快起來和舞蹈一樣美麗。但據北師大2012年針對接近一萬名聾人開展的跨地區調查顯示，只有8%的聾人能看懂很多電視臺的手語新聞，56%的聾人能看懂一些，29%的聾人基本看不懂。

央視主播的普通話，讓南北操持各種方言的人群都能聽得懂，央視的手語主播手勢竟然有一小半的聾人看不懂?這個問題是手語學習與教育中長存的挑戰。

1.手語標準不統一。手語有國標手語與自然手語的區別，與漢語的普通話和方言類似，並且國標手語並不像普通話那樣在全國風行，僅出現在新聞、大會翻譯以及學校教學中，大多數聾人群體使用的都是自然手語。而國標手語與自然手語、不同地域之間的自然手語差異也很大，導致聾人與聾人、聾人與聽人之間的溝通並不順暢。

2.師資力量相對缺乏。特殊學校的手語老師多半是來自特殊教育專業背景的聽人，對於不斷增長的聾人群體來說，師資力量總體較為緊張。再加上特殊教育學校的老師打的是國標手語，並不是學生們自小習慣的自然手語，因此手語教學的效率受到一定影響。

3.手語詞彙匱乏。目前，手語詞彙共約有8000個，能滿足日常學習、交流，但卻較難涵蓋所有場景。例如一些專業詞彙“人工智慧”或新興詞彙“元宇宙”等，很難使用手語進行充分表達，僅能使用近義詞的形式逐字組合成詞進行傳遞，對聾人來說無法輕鬆理解組合詞的表意，此外，手語教學中尚無通用手語語法標準，這也對學習、使用手語造成困難。

這些手語溝通中的阻礙與高昂的學習成本，讓聾人與外界的交流彷彿隔了一層巨大的透明外殼，外面的人不容易進去，裡面的人也很難走出。

如何讓聾人能夠高效學習手語、實現順暢溝通、縮簡訊息交流的“時差”，成為許多科技公司努力的方向。越來越多的企業也開始藉助AI技術的力量將數字包容的“種子”撒向這片廣袤的土地。

手語學習的智慧“靈魂”——昇騰昇思MindSpore AI框架

千博資訊基於華為昇騰AI和昇思MindSpore AI框架，利用中科院自動化所的紫東.太初三模態大模型，打造了手語教考一體機，專門用來幫助有聽力障礙的學生隨學、隨練、隨考，助力提升聾人群體的溝通質量。

那麼昇騰AI和昇思MindSpore AI框架是如何成為手語教考一體機注入的智慧“靈魂”呢?

1. 高效能小模型的部署，是支撐教考一體機的核心能力。手語大模型透過知識蒸餾形成可用的高效能小模型，部署在搭載昇騰AI晶片的手語教考一體機上，為其提供核心支撐。

2. 以文生圖與表情及唇語的識別能力，讓理解與翻譯更加精準。基於昇騰AI基礎軟硬體平臺支撐的手語大模型中的表情驅動及唇語計算，手語虛擬人能夠結合表情、唇語來表達手語，使其翻譯更加生動精準，實現圖文聯想。

3.小樣本學習，提升手語翻譯可懂度。在有限的語料環境下，手語大模型中的小樣本學習能提升手語翻譯的可懂度，讓手語虛擬人的翻譯習慣更加貼近聾人的認知，目前已初步實現實時的手語詞彙識別能力。

對於聽障學生來說，他們可以藉助裝置學習動畫版本的手勢動作、表情、唇語，甚至是更為抽象概念;對於教學機構來說，手語教考一體機能夠實現學習、考核、出題、綜合評價等自動化教學過程，減輕老師們的基礎教學壓力，釋放更多的人文關懷與創新教育能力。

手語教考一體機可以為聾人以及手語翻譯人群提供國標手語的學習、訓練、考核能力。不僅讓聾人群體之間順暢交流，更好地享受社會生活與公共服務，同時還能幫助聾人與不懂手語的聽人進行溝通，讓所有人享受數智生活的便捷。

數字包容“種子”的無限未來

我們都聽說過這句話：檢驗現代社會的文明程度，從來不是看城市多麼繁華，文化多麼豐富，而是看這個社會是否關注、照顧少數弱勢群體。隨著人工智慧的發展，技術的“果實”正在普惠整個社會，在數字包容的公益倡導下，追求人文關懷與實現社會價值，成為越來越多有擔當企業的選擇。

基於昇騰AI和昇思MindSpore AI框架的大模型成果，透過大模型的強泛化能力，賦能產業生態中的眾多企業，助力應用在行業場景中落地開花。

千博資訊推出的手語教考一體機就是產業大模型落地的典型應用之一。除了對特殊群體的關照外，AI除了在公益領域能夠幫助到障礙人士，在短臨天氣預測上也能有所作為。短臨天氣預測與日常生活緊密相連，隨著全球變暖、各類氣象災害頻發，及時準確的預測能有效指導防災減災工作。華為與高原所、電子科大的合作打造的短臨天氣預測模型，能夠提升短臨天氣預測的準確性以減少生命健康和財產損失，這將帶來巨大經濟、社會和生態價值。

在學術界，大模型創新層出不窮，但真正走到規模化產業部署的寥寥無幾，科研創新和產業應用存在斷點。

華為打通產學研用，聯合科研院所、企業共同建立圍繞大模型的產業聯盟平臺，促進產業內各類企業基於大模型孵化行業應用，讓大模型真正賦能產業，實現產業聚集，創造更大的價值。

我們可以看到，基於昇騰AI和昇思MindSpore AI框架打造的大模型在產業落地，不僅賦能傳統行業提質增效，也惠及社會公益領域。文中的兩個案例只是大模型產業化落地的“冰山一角”，但卻讓我們看到華為踐行數字包容的不同切片。

讓生活更有溫度，科技從未停止探索的腳步。華為不斷聚集產業勢能，透過科技改善社會民生，讓技術與公益的跨界連線越來越緊密。科技力量，正在打破過去人文環境的“孤島”，讓社會變得更加溫暖。未來，數字包容的“種子”也會逐漸增多，飄得更遠，隨著這些“種子”蔚然成林，我們離更加幸福的智慧生活也會越來越近。