論文標題：
Neural Machine Translation with Universal Visual Representation
論文作者：
Zhuosheng Zhang, Kehai Chen, Rui Wang, Masao Utiyama, Eiichiro Sumita, Zuchao Li, Hai Zhao
論文連結：
https://openreview.net/forum?id=Byl8hhNYPS
收錄情況：
ICLR 2020 (Spotlight)
程式碼連結：
https://github.com/cooelf/UVR-NMT
長期以來，機器翻譯都只涉及到文字之間的轉換，但實際上，人的感知功能可以是“多模態”的。
本文提出一種通用的視覺表徵，將圖片資訊融合到機器翻譯模型中。
使用這種視覺知識融合方法，不需要額外的雙語-圖片標註資料，模型就能夠在多個資料集上取得顯著的效果提升。
多模態與機器翻譯
機器翻譯是兩種語言間的轉換，比如“A dog is playing in the snow”翻譯為中文就是“小狗在雪地裡玩耍”。
但人類理解世界不只是用文字，還有視覺、聽覺等感知能力；並且翻譯的過程需要保持“語義”不變。比如下面的圖：
講中文的人會說“小狗在雪地裡玩耍”，而講英文的人會說“A dog is playing in the snow”。也就是說，人們對客觀世界的本質認知是相同的，只是“方法”不同，體現在語言上，就是語法上的差異。
為此，我們可以假設在機器翻譯模型中，融入這種“客觀的世界知識”，比如把圖片資訊加入，以此期望增強翻譯能力。同時考慮文字和圖片，這就是一種多模態。
然而，過去的翻譯-圖片研究大都需要大量的雙語-圖片標註資料，這在資料上成為一個研究的瓶頸。本文針對這種情況，提出“通用的視覺表示”，僅用單語-圖片標註資料，就能顯著提高機器翻譯的效果。
本文的方法在資料集EN-RO，EN-DE，EN-FR上均有約一個BLEU值的提高，這說明了本方法的有效性。
具體來說，本文貢獻如下：
提出一種通用的視覺表示方法，無需雙語-圖片標註語料；
該方法可以在只有文字的資料集上使用；
實驗證明了該方法效果提升的一致性。
在閱讀完本文之後，讀者可以思考下述問題：
如果要翻譯單語-圖片資料集
中沒有的語言，可以怎麼做？在融合步驟，是否可以有其他的方法進行融合？
你認為本文這種方法從邏輯上是否真的有效？為什麼？
通用視覺表示
在機器翻譯中融合圖片資訊 
實驗
我們在三個資料集上進行實驗：WMT16 En-RO, WMT14 EN-DE和WMT14 EN-FR。這三個資料集大小從小到大增加，從而在不同大小的資料集上都能驗證該方法。
下表是在這三個資料集上的結果，++表示顯著更優。
可以看到，和基線模型(Trans.(base/big))相比，本文的方法(+VR)在三個資料集上都能得到顯著的提升，平均提升約一個BLEU值。同時，只引入了很少的引數量，這就不會使訓練時間幾乎不會增加。
下表是在資料集Multi30K上的結果，這是一個多模態資料集。可以看到，即使在多模態設定下，本文方法依舊能夠取得顯著結果。
小結
本文提出了一種簡單、有效的多模態視覺知識融合方法——首先構建從主題詞到圖片的查詢表，然後對輸入句子找到相關的圖片，然後使用ResNet提取圖片資訊融入到機器翻譯模型中。
使用這種方法，可以避免對大規模雙語-圖片資料的依賴。實驗結果也表明，這種方法可以一致地提高翻譯效果。
思考題討論
