#Paper Reading# Dual Learning for Machine Translation

論文題目：Dual Learning for Machine Translation
論文地址：https://arxiv.org/abs/1611.00179
論文發表於：NIPS 2016（B類會議）

論文大體內容：
NMT（neural machine translation）機器翻譯模型所需標註的訓練資料量特別大的問題，但大量的人工標註的訓練資料往往意味著大量的花費，因此本文針對這一問題，提出一個對偶模型，dual-NMT，能夠使用unlabel的資料也能達到一個很好的效果。

1、主要思想體現在two-agent communication game中，過程是這樣的：

（圖片來自於MSRA[1]）

①需要有的輸入：資料集DA,DB；弱翻譯器ΘAB與ΘBA；強語言模型LMA與LMB；超引數α，K， γ1,t，γ2,t；
②對於Alice（熟悉English）來說，先從DA選出一個English的句子X，然後經過弱翻譯器ΘAB將X翻譯為B語言（French），得到Xmid；
③對於Bob（熟悉French）來說，看到Xmid，然後使用強語言模型LMB檢查Xmid的好壞，從而得到對弱翻譯器ΘAB的反饋；
④Bob再將Xmid使用弱翻譯器ΘBA翻譯為A語言（English），得到X’；
⑤Alice使用強語言模型LMA檢查X’以及對比X與X’的差距，從而得到對弱翻譯器ΘBA的反饋；
⑥接著對DB的句子也執行②-⑤操作，Alice和Bob交替玩這個game，從而不斷修正弱翻譯器ΘAB與ΘBA，得到強翻譯器；

2、實驗部分
①預處理：將包含非常用的30K個詞的句子去掉，每個詞用620維向量表示；
②評測方法：BLEU[2]；
③baseline：傳統的NMT，pseudo-NMT；

3、最終效果
比baseline有較為明顯的提高；

4、思考
作者提出的這種對偶學習方法，確實能夠很好地克服label資料的不足。同時，作者也提到，只要能形成一個閉環系統，那麼就可以使用這種對偶學習的方法，畢竟，每個人（結點）都能夠判斷模型生成的效果，同時加入到NMT的反饋中，從而不斷把弱翻譯器改進為強翻譯器。這種方法其實類似於迭代式學習方法，通過反饋改進模型，還是挺有意思的。

參考資料：
[1]、http://www.msra.cn/zh-cn/news/blogs/2016/12/dual-learning-20161207.aspx
[2]、https://en.wikipedia.org/wiki/BLEU

以上均為個人見解，因本人水平有限，如發現有所錯漏，敬請指出，謝謝！