學界 | 和清華大學自然語言處理與社會人文計算實驗室一起讀機器翻譯論文

https://blog.csdn.net/weixin_42137700/article/details/86777053

在生產和經濟高度全球化的今天，機器翻譯（Machine Translation）是人類面對外語時最渴望擁有的工具，也是神經網路帶來最大變革的人工智慧問題之一。

從最早的基於規則的機器翻譯，到基於機率的機器翻譯，再到現在的基於神經網路的機器翻譯，機器學習和語言學的研究人員們一起經歷了幾十年的歷程。如今的機器翻譯系統雖然還算不上盡善盡美，但以谷歌翻譯、百度翻譯為代表的，使用神經機器翻譯技術的大規模開放使用的翻譯系統，已經可以時不時地給出一些流暢、明瞭的雙語互譯結果了。

當然了，在神經網路/深度學習的衝擊之下，我們也不免看到這樣的調侃：“團隊裡每開除一個語言學家，翻譯模型的準確率就可以再提升一點。”在越來越大的語料庫、越來越多的模型設計和訓練技巧的幫助下，來自語言學領域的指導帶來的提升遠不如機器學習領域的新技術成果、甚至已有技術成果的好的實現帶來的提升大。AI 科技評論的讀者們相信也有這樣的感覺。

機器翻譯，尤其是神經機器翻譯（neural machine translation，NMT）也是清華大學自然語言處理與社會人文計算實驗室重點關注的研究課題之一。為了便於自己研究，也給這個課題的其他研究人員提供從那靠和指引，清華大學自然語言處理與社會人文計算實驗室機器翻譯小組在 GitHub 上維護著一份神經機器翻譯論文清單，包含了這個領域內他們認為起到重要作用的研究論文。

列表中的神經機器翻譯論文劃分為了模型架構、注意力機制、開放詞庫、訓練目標、解碼、低語言資源翻譯、先驗知識整合、文件級別翻譯、魯棒性、視覺化和可解釋性、語言學解釋、公平性和多樣性、效率、語音翻譯、多模態、整合和重新排序、預訓練、領域適應、質量估計、以人為中心的神經機器翻譯、單詞翻譯及雙語專用語翻譯、詩歌翻譯等主題，內容十分全面細緻。除此之外，他們也列出了 10 篇必讀論文。

這 10 篇必讀論文是：

• Peter E. Brown, Stephen A. Della Pietra, Vincent J. Della Pietra, and Robert L. Mercer. 1993. The Mathematics of Statistical Machine Translation: Parameter Estimation. Computational Linguistics. (Citation: 4,965)

• Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. 2002. BLEU: a Method for Automatic Evaluation of Machine Translation. In Proceedings of ACL 2002. (Citation: 8,507)

• Philipp Koehn, Franz J. Och, and Daniel Marcu. 2003. Statistical Phrase-Based Translation. In Proceedings of NAACL 2003. (Citation: 3,514)

• Franz Josef Och. 2003. Minimum Error Rate Training in Statistical Machine Translation. In Proceedings of ACL 2003. (Citation: 2,982)

• David Chiang. 2007. Hierarchical Phrase-Based Translation. Computational Linguistics. (Citation: 1,192)

• Ilya Sutskever, Oriol Vinyals, and Quoc V. Le. 2014. Sequence to Sequence Learning with Neural Networks. In Proceedings of NIPS 2014. (Citation: 5,428)

• Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. 2015. Neural Machine Translation by Jointly Learning to Align and Translate. In Proceedings of ICLR 2015. (Citation: 5,572)

• Diederik P. Kingma, Jimmy Ba. 2015. Adam: A Method for Stochastic Optimization. In Proceedings of ICLR 2015. (Citation: 16,572)

• Rico Sennrich, Barry Haddow, and Alexandra Birch. 2016. Neural Machine Translation of Rare Words with Subword Units. In Proceedings of ACL 2016. (Citation: 789)

• Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. 2017. Attention is All You Need. In Proceedings of NIPS 2017. (Citation: 1,047)

論文列表具體內容請見：

另外，在清華大學自然語言處理與社會人文計算實驗室機器翻譯小組的 GitHub 頁面還可以看到他們的開源神經機器翻譯工具包 THUMT （  ）。