跨越專業翻譯的語言之牆:百度翻譯的技術攀登

naojiti發表於2022-12-05

作為一個科技從業者,閱讀AI頂會的最新論文、瀏覽國內外創新的最新動向,是我工作的重要部分。平時接觸的開發者、科學家、企業研究人員等,工作生活中也涉及大量專業閱讀。

於是乎,我就會經常聽到這樣的抱怨:

PDF格式的論文,很多翻譯軟體需要手動複製貼上,效率還不如直接查字典;

不動腦子按段落甚至句子直譯,信達雅一個都沒有,機翻完我還要花時間二次review;

海外開發社群的技術文件專業詞彙太多,翻譯得不準,好幾天的程式碼都白寫了……

這可能是AI技術裡非常容易讓人迷惑的地方。近幾年隨著AI技術快速進步,機器翻譯水平也大幅提升,結果一遇到外文文獻、外刊投稿、辦公文件、商業報告、海外網站技術文件之類的專業翻譯需求,很多產品還是不能滿足。

這些問題說明,總體可讀可懂,滿足出國旅遊、購物娛樂等日常溝通的場景,只是機器翻譯的基本功能。進一步的市場需求,是深度專業內容的跨語言交流,讓商業、科研、技術等專業資訊可以實現無縫對接。

跨越這堵語言之牆,也成為一場NLP領域的全球競賽。一直深耕機器翻譯的百度翻譯團隊,從來沒有停止過攀登的腳步。

我們從機器翻譯的新技術動向說起,聊聊百度給機器翻譯帶來的新可能。

機器翻譯的技術攀登:百度引領NMT革新

跨越語言之牆還需要哪些技術突破?想要回答這個問題,有必要先回答:機器翻譯今天發展到哪一步了。

過去幾十年間,人們一直在探索如何使得機器翻譯達到人類的翻譯水平,翻譯方法不斷迭代。基於規則的機器翻譯,依靠人工編纂的雙語詞典和專家總結的規則進行翻譯;基於例項的機器翻譯,從雙語對照的例項庫中選擇與原文相似度高的例項,透過模仿和修改進行翻譯;基於統計的機器翻譯,對翻譯過程進行數學建模,並從大量的訓練資料中自動學習翻譯知識。

變革發生在2014年,透過迴圈神經網路(RNN)來對語言向量進行編碼解碼,並且使用長短期記憶網路(LSTM)來增強長句翻譯能力的神經機器翻譯(NMT),為機器翻譯領域帶來新的研發正規化。百度、谷歌、微軟等一批NLP領域的優等生推進深度學習在機器翻譯領域的研發和應用,百度翻譯在2015年釋出了全球首個網際網路NMT系統,領先谷歌1年多。現在,大家用翻譯軟體進行日常交流、旅遊商務等活動,已經基本沒有問題了。

而專業領域的翻譯想要令人驚喜的進展,總的來說需要做到兩件事:

一是技術突破。推動機器翻譯不斷接近專業翻譯能力。頭部廠商主要從幾個方面努力:1. 預訓練大模型,例如文心、GPT-3、BERT;2. 多語言統一建模和翻譯;3. 面向垂直領域的高精度翻譯模型。其中,百度作為更早進入NMT時代的科技企業,就在機器翻譯技術上取得了國際領先的成果。2020 年,諮詢機構Gartner在 《Hype Cycle for Natural Language Technologies》報告中,就將百度翻譯列為神經網路機器翻譯標杆機構。

二是產品設計。技術有所突破,還要透過成熟的產品設計和應用體驗,讓使用者感知到專業機器翻譯的價值。一些機器翻譯產品可能技術很強,但由技術人員來主導產品設計,導致使用者體驗很糟糕。在這方面,具備網際網路產品設計相關經驗的廠商,自然能夠更好地實現技術落地。比如百度翻譯就打造了非常豐富的產品矩陣,支援PC端、移動端等各類終端裝置,面向C端、B端的多種應用;支援文字、文件、圖片、語音等多模態翻譯,全方位滿足各種翻譯需求。百度翻譯的產品優勢,讓普通使用者可以低門檻、更便捷地用上專業機器翻譯能力,目前日均響應的翻譯請求已達千億字元。

從這個角度來看,百度翻譯是國內少有的,能夠同時佔據技術和產品兩個機器翻譯高地的科技企業。那麼,百度翻譯究竟是如何翻越專業翻譯的語言之牆?

聳立的語言牆:機器翻譯進入專業領域的三道門檻

你可能會問,機器翻譯都搞了快七十年,怎麼專業領域的語言之牆依舊沒有被攻克?

專業資訊、學術資源、商業檔案等翻譯需求,是一塊巨大的商業蛋糕,同時也是從未被徹底解決的痛點。這是因為專業領域的翻譯,存在“三高”的要求:內容安全要求高、翻譯準確率要求高、翻譯效率與體驗要求高。

內容安全要求高:專業文件往往涉及到科研創新、商業往來等資訊,翻譯過程中需要上傳到雲端或軟體服務商的伺服器進行操作,一旦硬體來源或軟體使用權受限,或者服務不穩定,都會給專業使用者帶來麻煩和風險。

翻譯準確率要求高:信達雅,信(即翻譯準確率)排在第一位,專業翻譯中存在大量專業單詞、複雜長句子,容易出現歧義,軟體翻譯失之毫釐,內容準確度就謬以千里。

翻譯效率與體驗要求高:翻譯軟體的效率、易用性,直接影響到使用者體驗。很多人可能有這樣的經歷,有的軟體不支援整篇文件翻譯,手動複製貼上連分段都不準確,翻譯效果難以直視;有的PDF文件翻譯成word後,原本的排版被打亂,還需要自己手動調整……這些都給使用者帶來了額外的負擔。

所以,我們就從安全可靠、效果、效率這三個方面,來評測一下百度翻譯的解決思路。

首先,安全可靠。

作為一名知識內容生產者,文件承載的是我安身立命之本,所以,資料安全幾乎是我是否使用一款翻譯工具的首要考量因素。同理,論文資料之於科研工作者、商業報告之於企業從業者、技術文件之於工程人員,安全隱私都是至關重要的。

深度學習平臺是每個神經網路機器翻譯模型的底層技術框架,市面上相當一部分翻譯廠商的底層技術框架仍然使用TensorFlow(美國谷歌)和PyTorch(美國臉書)為代表的海外框架。非國產自研,可能在未來遭遇無硬體可搭載和無框架使用的窘境。

比如在使用海外平臺DeepL的過程中,我就會經常遇到載入緩慢、連線不上的問題。海外翻譯軟體往往需要上傳到海外企業的伺服器,比如DeepL上傳的文件會被髮送到美國的Adobe公司。

與之相比,國內翻譯產品就不會遇到這個困擾。以百度翻譯為例,產品基於全面自研的飛槳深度學習框架,同時採用多種措施來保障資料安全,獲得ISO27001等多項國內外權威資訊保安管理認證。儲存前,會先進行安全的加密操作;資料傳輸中,採用安全傳輸層協議(TLS),保障保密性和資料完整性,並提供完備的金鑰管理機制和加密措施;使用者刪除資料後,後臺將同步刪除相關內容,不會留存。總體來說,在可靠性和安全性上更有保障。

第二,翻譯效果。

專業翻譯最終要靠結果的“信、達、雅”說話。包括專業術語翻譯是否準確,語序是否流暢連貫,一些特定文化背景的表達是否地道……

可以看到,百度翻譯透過多個專業領域模型,有效增強翻譯準確度。我們隨機選取了《自然》雜誌的一篇生物領域論文《A pan-cancer compendium of chromosomal instability染色體不穩定性的泛癌症綱要》,選擇百度翻譯的“生物醫藥“模型後,結合上下文語義給出了準確的翻譯。可以看到,生物醫藥這類充滿大量專業術語的領域,百度翻譯的結果並沒有讓人失望。

對於學術文章中複雜的長句子和特定格式,百度翻譯能夠識別論文格式中的各種基本要素,如正文、引用、尾註等,避免錯譯、漏譯。以這篇AAAI 2022的頂會論文《Meta-Learning for Online Update of Recommender Systems》為例,百度翻譯就準確保留了參考文獻引用資訊,這對閱讀專業文獻非常有幫助。

第三,翻譯效率。

專業領域的機器翻譯,使用者的一個關鍵痛點是:很多地方需要使用者“不厭其煩”地手動操作或反覆修改。而擁有十多年翻譯產品經驗的百度,自然也在應用能力上游刃有餘。百度翻譯將這些“煩點”一一消解,提升翻譯效率和文件的可讀性、易讀性,從而減少使用者手動調整、修改的麻煩,將時間精力放在更有創造力的事情上。

首先,百度翻譯支援多種格式文件,一鍵上傳就能進行全篇翻譯。像PDF這種不能編輯的文件,可以完整地保留樣式和排版,不需要使用者手動將文字複製貼上到翻譯軟體中,並且提供整頁預覽模式、逐句對照模式等,不同需求的使用者可以自主選擇來提升效率。

比如下面這份《英國人工智慧研發商業化和標準》,這類諮詢機構的商業報告,是很多產業研究者、高校師生、政策制定者等工作學習中的參考讀物,快捷、高效地閱讀體驗,能夠幫大家節省不少時間。將PDF檔案一鍵上傳到百度翻譯,就能快速得到準確地譯文,排版格式也與原文保持高度一致,大大方便了閱讀。

輸入資料的準確性對翻譯結果起到至關重要的影響,文字糾錯是機器翻譯的關鍵能力之一。專業領域容易遇到一些佶屈聱牙、拼寫複雜的專用術語、學術名詞等,百度翻譯的智慧糾錯,可以對語句自動檢查、實時提示、自動糾錯,減少人工校驗成本。

此外,百度翻譯透過人機共譯智慧增強,語料自動沉澱,機器自動學習,翻譯模型實時增強,逐漸縮小機器翻譯與理想譯文之間的差距,實現越翻越省力,真正提升效率。

英國詩人塞繆爾·約翰遜曾說過,語言是科學的唯一工具。整體來看,百度翻譯已經在專業論文、學術文獻等領域,展現出了強大的翻譯能力,幫專業人士翻越了語言這堵高牆,把語言這個工具交到了每一個需要在專業領域跨語言協作的人手中。

翻山越嶺之後,語言牆背後的宏大場景

從百度翻譯的技術體系和產品設計中,可以看到,機器翻譯要進入專業領域,不光要有技術,還要有較強的產品設計能力,考驗的是企業的綜合實力。機器翻譯進入專業領域,也推動翻譯應用來到了新的賽點。

重建巴別塔。專業領域的語言壁壘,為知識、資訊、資源的流動樹立起極高的門檻,比如目前全球有六成以上各類文獻資料和科研論文都是用英文撰寫,其他語種也蘊含著大量的知識寶藏。越來越多的人使用百度翻譯來突破語言的阻礙,讓專業領域的協作沒有障礙,將大大促進全球的知識交流與傳播,支撐科技創新、實現知識公平。

重塑機翻格局。專業領域的機器翻譯,相比生活化場景,有著更高的壁壘與更強勁的需求,無論市場容量、付費意願、付費潛力,以及使用者忠誠度,都是非常高的。百度翻譯憑藉優秀的專業翻譯能力,可以建立起差異化優勢,進入商業化的良性迴圈,在機器翻譯市場格局中進一步領先。

藉助翻譯,人類社會從相互阻隔走向了相互交往。今天,世界科技、經濟與文化更為頻繁地展開交流,面對浩如煙海的資訊與知識,僅靠數量有限的專業翻譯人士,很難滿足大眾對專業翻譯的需求。幸好,機器翻譯開闢了一條新的跨語言溝通之路。七十年來,機器翻譯技術不斷迭代,有著旺盛的生命力,那是一代又一代技術人,在為重建巴別塔的理想而不斷努力。

隨著百度翻譯等產品推動機器翻譯向專業領域不斷深入,人們可以展開更專業、更精深的跨語言交流,機器翻譯正成為助力全球交流的一股重要力量。

來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31561483/viewspace-2926835/,如需轉載,請註明出處,否則將追究法律責任。

相關文章