騰訊AI Lab：深度解讀AI輔助翻譯的研究及應用

大家好，我是騰訊AI Lab黃國平，網名為@翻譯驢，今天的演講題目是《人機互動式機器翻譯研究與應用》，給大家來分享關於人機互動式機器翻譯的一些探索與思考。

需要特別說明的是，在AI技術行業落地過程中，我相信人機互動式機器翻譯的經驗也能給其他方向的探索有一些啟發。

我博士畢業於中國科學院自動化研究所模式識別國家重點實驗室，大的研究方向為機器翻譯，具體方向為人機互動式機器翻譯。

入職騰訊AI Lab後，繼續該方向的研究與應用，目前總體負責一款相關的獨立產品，最早將近期上線。

在今天的分享中，我首先會簡單介紹一下與“翻譯”這個關鍵詞相關的現狀介紹，包括機器翻譯、翻譯需求和人工翻譯；然後系統介紹人機互動式機器翻譯相關的技術、研究與應用；最後分享一下我對人工智慧落地的一點思考。

目前國內實質擁有機器翻譯科研力量的單位可以分成兩類，一類是國有研究機構，主要有中國科學院自動化研究所、計算技術研究所，清華大學、東北大學、蘇州大學、哈爾濱工業大學、南京大學等，另一類是商業公司設立的研究機構或者研發團隊，如微軟亞洲研究院、百度、有道、騰訊、搜狗、阿里巴巴、網易等。

原始學術創新大量來源於前一類研究機構，後一類主要承擔起了落地和商業化變現的重任。需要提及的是，這個分類不是絕對的，比如後一類的微軟亞研輸出的學術創新成果是有目共睹的。

另外需要注意的是，有的公司明顯缺乏核心科研力量，他們更多謀求通過宣傳公關的方式來引起社會的關注，這是機器翻譯行業客觀存在的現實。在此向堅持數十年機器翻譯研究的團隊致以誠摯的敬意！

歷史上出現過很多機器翻譯方法，比較有名的如基於規則的翻譯方法、統計機器翻譯方法，目前最流行的是基於神經網路的機器翻譯方法，簡稱為神經機器翻譯NMT。

需要說明的是，以前的翻譯方法並不是不用了，比如我們會用統計機器翻譯的思路和方法改進NMT的翻譯效能。在後續演講過程中，為了方便起見，除非特別說明，“機器翻譯”均指“神經機器翻譯NMT”。神經機器翻譯是指直接採用神經網路以端到端方式進行翻譯建模的機器翻譯方法。

區別於以前的翻譯方法，神經機器翻譯採用方法比較簡單而且直觀：首先使用一個稱為編碼器（Encoder）的神經網路將源語言句子編碼為一個稠密向量，然後使用一個稱為解碼器（Decoder）的神經網路從該向量中解碼出目標語言句子。這樣的神經網路模型一般稱之為“編碼器-解碼器”（Encoder-Decoder）結構。

在這種框架下，NMT其實就是一個典型的Seq2Seq模型，傳統的NMT使用兩個RNN：一個RNN對源語言進行編碼，將源語言編碼到一個固定維度的中間向量；再使用一個RNN進行解碼翻譯到目標語言。

從這裡可以看出，在生成目標句子的單詞時，不論生成哪個單詞，它們使用的輸入句子的語義編碼都是一樣的，沒有任何區別。而語義編碼是由源文句子的每個單詞經過Encoder 編碼產生的，這意味著不論是生成哪個單詞，源文句子中的任意單詞對某個目標單詞來說影響力都是相同的。

比如輸入的是中文句子：這是成功的祕訣，Encoder-Decoder框架逐步生成英文單詞：this is the secret of success。

在翻譯“祕訣”這個中文詞的時候，模型裡面的每個中文單詞對於翻譯目標單詞“secret”貢獻是相同的。很明顯這裡不太合理，顯然“祕訣”對於翻譯成“secret”更重要，但是目前這個模型是無法體現這一點的。

這樣的模型，我們可以稱之為分心模型。這樣的模型在輸入句子比較短的時候問題不大，但是如果輸入句子比較長，此時所有語義完全通過一箇中間語義向量來表示，單詞自身的資訊已經消失，可想而知會丟失很多細節資訊。

為了解決上述模型的問題，我們需要引入注意力機制，即應該在翻譯“secret”的時候，體現出中文詞對於翻譯當前英文單詞不同的影響程度，比如給出類似下面一個概率分佈值：（這,0.1）（是,0.1）（成功,0.2）（的,0.1）（祕訣,0.5）。

每個中文詞的概率代表了翻譯當前單詞“secret”時，注意力分配模型分配給不同中文詞的注意力大小。這對於正確翻譯目標語單詞肯定是有幫助的，因為引入了新的資訊。採用注意力機制“編碼器-解碼器”結構與普通結構不同之處在於上下文向量的構建。解碼步驟中，模型通過注意力機制選擇性地關注源語言句子的不同部分，動態地構建上下文向量。

接下來我們將介紹目前線上系統應用最廣泛、一般也是自動譯文效能最好的機器翻譯方法：基於Transformer的機器翻譯方法。

傳統的神經機器翻譯大都是利用RNN或者CNN來作為“編碼器-解碼器”的模型基礎，而谷歌最新的只基於Attention的Transformer模型摒棄了固有的定式，並沒有直接使用任何CNN或者RNN的結構。

編碼器由6個相同的層堆疊在一起，每一層又有兩個支層：第一個支層是一個多頭的自注意機制，第二個支層是一個簡單的全連線前饋網路。每部分的輸出都經過一個LayerNorm，並且採用殘差連線。模型的解碼器也是堆疊了六個相同的層，每層除了編碼器中那兩個支層，解碼器還加入了第三個支層：帶有mask的多頭自注意機制。在訓練的時候，該模型可以高度並行地工作，所以在提升翻譯效能的同時訓練速度也特別快。

如果想詳細瞭解Transformer模型的細節，請閱讀論文《Attention is all you need》。

接下來簡單介紹一下機器翻譯的訓練流程。雖然機器翻譯訓練最終優化目標是儘可能提高自動譯文與參考譯文的相似度，但由於計算速度的原因，目前的訓練優化目標一般是降低PPL（困惑度）。

因此，與一般的深度學習模型的訓練過程是基本一致的。一般而言，先隨機隨機初始化模型引數，然後逐詞解碼一個或者多個Batch，然後計算損失，在這裡一般是PPL，然後根據損失確定更新引數的策略。重複上述過程直到收斂。

在小節最後，我們總結一下機器翻譯領域特有的一些困難。

我們一般認為，之所以目前的機器翻譯質量還不夠好，下邊這些原因佔了很大一部分。

首先，自然語言中普遍存在的歧義和未知現象始終難以被已有訓練資料覆蓋並被模型及時學習到，即便能覆蓋也可能有長尾問題；其次，翻譯本身並不僅僅是字串的轉換，比如我們並不能直接簡單通過字面就能正確翻譯“青梅竹馬”這個詞；再者，翻譯的解並不唯一，始終存在人為的標準，這樣直接做訓練模型的損失函式失效；最後，有的翻譯問題實在太難了，可能需要翻譯大家窮其一生，更遑論機器翻譯模型。比如在見到“最是那一低頭的溫柔，像一朵水蓮花不勝涼風的嬌羞”的時候，機器翻譯幾乎只能選擇啟動自殺程式（如果有的話）。

在這種背景下，除了極少一部分機器翻譯能完成得很好的翻譯任務以外，如果要正式使用自動譯文，幾乎都需要不同程度的人工介入。

這是我們為什麼投入人機互動式機器翻譯的最初動機。

在此，我們需要對傳統人工翻譯行業保持必要的謙遜，同時向長期奮鬥在一線的翻譯工作者們致以崇高的敬意。沒有他們，我們的機器翻譯將無以為繼，因為訓練語料的產生有賴於廣大翻譯工作者。

介紹完機器翻譯現狀，我們接下來回歸到機器翻譯要解決的問題本身，那就是翻譯需求。有翻譯需求，就離不開人工翻譯行業。為了更清晰地看到機器翻譯的未來，我們有必要將翻譯需求與人工翻譯行業看得更清楚。

這個市場規模似乎並不值得機器翻譯玩家們高舉高打，因為機器翻譯的產值應該不會超過人工翻譯行業的產值，雖然機器翻譯解決了以往人工翻譯難以解決的需求，但新的需求往往難以產生有吸引力的商業價值。

需要提及的是，這裡的翻譯需求包括筆譯、口譯以及本地化。因此，如果一家公司想要靠機器翻譯來支撐股價，這大概是不現實的。

主要原因是翻譯需求雖然不大，但不可缺少，但是人工翻譯翻譯行業又非常零散。零散到什麼程度呢？前100家語言服務提供者的市場佔比總共不到15%。

而且排名和佔比都基本穩定。

分散往往意味著低效，事實上也是如此，在以筆譯為主的翻譯市場上，技術所佔的份額就比較少，口譯的介入就更少了。

更艱鉅的情況是，10人以內的團隊為絕大多數，他們需要專業的翻譯工具，卻無力支付正版。目標也許已經很明確，為了人工翻譯行業整體提高翻譯效率，我們有必要投入足夠的力量到人機互動式機器翻譯技術研發中。

顧名思義，人機互動式機器翻譯就是通過人機互動的途徑來完成翻譯任務，這顯然區別於不對最終譯文質量負責的全自動的機器翻譯。

在前面的介紹中我們曾提到，目前機器翻譯全自動輸出的翻譯結果無法保證譯文質量。

但隨著機器翻譯技術的進步，幫助人工翻譯提高翻譯效率的可行性已經比較明顯。此時的主要挑戰在於，如何通過人機互動的方式來完全翻譯作業，且要明顯提高翻譯效率、降低經濟成本。

站在人工翻譯側，機器翻譯需要能夠接受使用者提供的譯文干預，及時學習使用者的修改反饋，同時實時提供翻譯輔助資訊。

我們認為，同時滿足上上述三個要求的系統才能稱之為人機互動式機器翻譯系統。

那人機互動式機器翻譯技術如何與人工翻譯完成配合呢？

經過深度調研，我們總結出瞭如下“一評估三互動”的人機互動翻譯正規化：

一評估指貫穿全過程的機器翻譯自動譯文質量評估技術，在具體的應用場景中，通過自動翻譯質量評估，向使用者推薦合適的互動手段；

三互動指三種人機互動手段，分別是翻譯輸入法、互動式機器翻譯和譯後編輯，分別適用於自動譯文質量比較差、質量尚可和質量較優的情形。

因此，機器翻譯需要承擔的任務可以分為六類：

1. 整句更新，理解使用者干預，輸入當前句子更好的自動譯文供人工譯員參考和決策； 

2. 優質翻譯片斷提示，以便使用者快速採用機器翻譯建議；

3. 翻譯輸入法，方便使用者在翻譯過程中精準組詞，以快速錄入人工譯文；

4. 線上學習，及時學習使用者修改反饋；

5. 語義理解，實時提供翻譯輔助資訊；

6. 快速解碼， 所有互動過程必須實時響應。

可以看到，人機互動式機器翻譯即有工程技術的難題，也有目前難以找到有效解決方案的學術問題。

接下來，我將介紹“三互動”中的三個重要模組。

首先是當自動譯文質量比較好的情況下，直接通過譯後編輯這種模式就可以快速完成翻譯任務。

所謂譯後編輯，簡單而言就是指通過人工修改自動譯文來完成翻譯。主要的技術難點是如何準確自動推薦優質譯文，業界通用的技術為Quality Estimation，即無參考譯文的機器翻譯質量評估。實現途徑一般是特徵工程，同時輔以人工翻譯規則。

當機器譯文質量尚可，但缺乏譯後編輯價值時，就需要使用互動式機器翻譯技術。互動式機器翻譯的中心思想在於，機器翻譯根據使用者已輸入片斷，提供片斷級的翻譯建議。優化目標是通過儘可能少的人工干預，生成儘可能準確的長翻譯片斷。主要的技術難點在於如何理解使用者給定的干預資訊，干預資訊包括但不限於譯文片斷、術語以及不希望出現的詞。

互動式機器翻譯的技術核心是約束解碼方法。在通用的機器翻譯系統中，模型的推理階段一般採用標準的Beam Search演算法。但在人機互動式機器翻譯系統中，生成的自動譯文往往需要滿足一定約束，比如字首約束、字尾約束、譯文中必須出現或者必須不出現哪些片斷。

比較簡單且成熟的解碼方法稱為Grid Beam Search，即在推理的每一個時刻都試圖擴充套件約束，最後輸出滿足所有約束的翻譯假設。優點是程式碼簡單直接，缺點是解碼速度下降比較明顯，且對約束的噪聲比較敏感。

為了改進GBS的缺陷，我們將約束引入訓練過程，即將約束作為額外特徵引入模型，經實驗證明，能達到與GBS基本一致的解碼質量，能容忍最多60%的約束噪聲，且翻譯速度與標準Transformer模型基本一致。

譯後編輯與互動式機器翻譯的一個共同點都是需要使用者閱讀理解自動譯文，如果自動譯文質量比較差的情況下，這是不被使用者所接受的。在比較嚴肅的領域，如醫療、醫藥、法律等領域是經常發生的事。

在這種情形下，機器翻譯就不能輔助人工翻譯提高翻譯效率嗎？

我們的答案是完全可行的，途徑就是翻譯輸入法，在使用者不閱讀理解自動譯文的前提下，通過機器翻譯提升人工翻譯效率。

我們來簡單看一個例子。

使用者希望錄入的最終譯文是“中國考慮改革公務員福利制度”，一般在錄入時，我們都希望一次能多輸入幾個字。搜狗、谷歌、微軟輸入法雖然都很優秀，但是很遺憾，由於缺乏對翻譯上下文的感知，如果輸入的拼音串太長，則很容易解碼不成功。

每個拼音對應多個漢字，把一個拼音串對應的漢字從左到右連起來，就是如圖所示的網格圖。y1,y2,y3,…,yN是使用者輸入的拼音串，N為拼音數也是輸入法短語候選的漢字數；h11,h12,h13是第一個拼音y1的候選漢字，以此類推。

從第一個字到最後一個字可以組成很多句子，每一個句子和圖中的一條路徑一一對應。拼音輸入法就是要根據上下文在給定拼音條件下找到一個最優的輸入短語，我們利用對數線性模型可以對輸入法進行建模。

傳統的拼音輸入法融合的特徵有音字轉換概率、字音轉換概率、語言模型概率以及輸入歷史等。

而翻譯輸入法需要額外融合機器翻譯相關的特徵，比如翻譯概率、翻譯規則、翻譯假設等。這些機器翻譯相關的特徵，直接反映了當前翻譯的上下文資訊，因此就能夠生成更符合人工翻譯期望的結果。

比如我們能比較少的按鍵數直接輸入“中國考慮改革”。

線上學習是人機互動式機器翻譯場景必然面對的挑戰，在翻譯過程中，使用者希望系統能從反饋中自動糾正以前的自動翻譯錯誤。

比如圖中所求有兩個比較明顯的翻譯錯誤，把publication chair翻譯成了出版物的椅子，把人名錯誤翻譯成了仁諫早。但在翻譯過程中，人工翻譯已經分別糾正為出版主席和井佐原均。

如果沒有線上學習模組，則可以預計在後續的翻譯過程中，自動翻譯系統還會繼續犯錯。

大家可以通過學術搜尋引擎發現很多關於線上學習方法的文獻，比如我們選擇了線上隨機森林作為機器翻譯線上學習的基礎模型。

在翻譯問題中，每個源短語對應包含中M棵決策樹的隨機森林，每棵決策樹記錄了不同的特徵，最後通過投票來決定源短語到目標短語的翻譯概率。

1. 在決策樹生長過程中，根據資訊增益決定具體的節點是否需要分支；

2. 在翻譯過程中，隨時根據錯誤率決定是否刪除某決策樹是否應該被刪除重新生長。

另一種能達到類似於線上學習效果的方法是融合翻譯記憶的機器翻譯方法。翻譯記憶的中心思想是讓使用者儘量複用之前的人工翻譯結果，儘量避免重複翻譯相同的文字。

我們可以在機器翻譯解碼過程中，通過翻譯記憶來引導自動譯文的生成更偏向翻譯記憶中的匹配片斷。

綜合實驗證明，融合翻譯記憶之後，自動譯文的質量提升是比較明顯的。

實驗證明，翻譯記憶與當前待翻譯的源文句子的匹配率越高，則對自動譯文質量的提升作用更為明顯。

在騰訊公司內部，機器翻譯落地場景大致可以三類：

機器翻譯+語音識別=同聲傳譯；

機器翻譯+OCR=拍照翻譯；

機器翻譯+人機互動=輔助翻譯。

這些技術的落地可以同時為公司內產品服務，以及對外開放給合作伙伴。

就目前而言，在人機互動式機器翻譯場景，騰訊走在行業前沿。

我們以一個具體的例子來說明人機互動式機器翻譯的正確開啟方式。這是某大型公司以翻譯核心的多語知識解決方案。

整個公司可以分為兩類部門：

大部分屬於知識消費部門，即翻譯需求的發起者，比如在專利申請、手冊閱讀、資訊檢索場景都可能有翻譯需求；

第二部分是人數較少但不可或缺的知識生產部門，翻譯團隊，有的公司的做法是直接外包翻譯任務，這裡的翻譯團隊就是外部團隊。

兩類部門通過內部業務系統建立聯絡，如果沒有機器翻譯，則所有翻譯需求都需要直接導向人工翻譯團隊。加入機器翻譯之後，只需要概要閱讀或者跨語言檢索的場景則直接導向機器翻譯。

如果引入人機互動式機器翻譯之後，打通術語詞典和翻譯記憶庫之後，則有一部分需要嚴肅翻譯結果的需求也不用完全導流給人工翻譯團隊，使用者可以直接以較少的努力就能快速完成翻譯任務。

最後，大家不禁要問，如何才能構建一套人機互動翻譯系統呢？

我的答案是首先要定義明確的需求，即我們需要什麼語種、什麼領域、用於什麼場景，以及如何現有業務系統打通；然後準備足量的雙語平行句對作用訓練語料；接著整合已經可以應用的最新技術，比如輸入法、術語抽取、翻譯片斷挖掘等；再然後就是除錯GPU叢集、並行加速訓練等；最後部署上線並迭代更新。

在這個過程中，往往會出現很多現實問題。比如最終部署的系統並不能完全預定任務，主要可能是對自動譯文質量過高的期望，或者發現開源系統不是那麼容易填坑，另外就是如何甄別出切實可用的技術，並拉通目標場景的技術鏈條。

最後的最後，我提出人工智慧落地傳統行業時遇到的三個典型問題：

1. 我們需要什麼的人？調參大師和程式碼工匠都是需要的，那論文機器呢？現有人員能否快速轉化科研成果？

2. 行業內、公司內的資料鴻溝和工程壁壘如何打通？畢竟人工智慧技術不太可能成為獨立存在，需要嵌入式即有業務邏輯之中；

3. 人工智慧產品與用人工智慧的產品是不一樣的，我們如何選擇？

    我的分享到此結束，謝謝大家！