編者按：上月，自然語言處理頂級會議ACL 2018在墨爾本成功舉辦。微軟亞洲研究院聯培博士任爍從大會現場帶回了新鮮出爐的參會總結，與大家分享本屆大會上的優秀論文和機器翻譯最新進展。文末附微軟亞洲研究院在本次ACL中入選論文的一鍵下載資源，感興趣的朋友不要錯過哦。
7月15日至20日，自然語言處理頂級會議ACL 2018在澳大利亞墨爾本成功舉辦。本屆大會投稿量和接受量均有增長，共收到投稿1544篇，最終錄用381篇，其中長文256篇（錄取率25.1%），短文125篇（錄取率23.8%）。
圖1 ACL 2018投稿統計
根據對接收論文標題的詞雲分析，在ACL 2017和2018上持續熱門的關鍵詞有注意力機制（attention）、網路（network）、知識（knowledge）、序列（sequence）和語言（language）。而在今年的ACL中，句子（sentence）、詞嵌入（embedding）和情感（sentiment）受到了更多的關注。交叉（cross）、領域（domain）、無監督（unsupervised）等關鍵詞也在今年上榜，可以看到業界有更多的人開始著手不同領域之間的交叉遷移，以及無監督學習的工作。
圖2 接收論文標題關鍵詞（左：ACL 2017獨有，中：ACL 2017和ACL 2018共有，右：ACL 2018獨有）
同時，本屆ACL還宣佈將針對亞太地區成立AACL（Asia-Pacific Chapter of the ACL）大會。
3篇長文與2篇短文獲得了本次會議的最佳論文。
最佳長文：
1. Finding syntax in human encephalography with beam search. John Hale, Chris Dyer, Adhiguna Kuncoro and Jonathan Brennan
本篇論文透過對人腦電波中early peak現象的分析，發現迴圈神經網路語法生成模型（Recurrent neural network grammars，RNNGs）與束搜尋（beam search）的組合，能夠對人腦進行自然語言理解時的語法處理過程進行比較好的建模。這一篇文章屬於自然語言處理與人腦研究的交叉領域的成果，實驗充分，可以將其認作從人腦生物學角度對深度學習方法有效性的肯定。
論文連結：https://arxiv.org/pdf/1806.04127.pdf
2. Learning to Ask Good Questions: Ranking Clarification Questions using Neural Expected Value of Perfect Information. Sudha Rao and Hal Daumé III.
這篇論文中，作者定義了一個新任務：對於一個可能模糊的問題，從一群候選問題中找出澄清性最強的問題（clarification questions）作為模糊問題的資訊補充，從而得到更有價值的回答。作者針對這一任務設計了簡單的模型，後基於StackExchange上爬取的資料建立了資料集，並設計了評價指標。在研究中，定義新任務一般是比較冒險的，因為可能受到各方面的質疑：任務是否有意義、定義是否清晰、是否可解、評價指標是否合理等等。這篇論文對以上幾點都做了邏輯清晰的闡述。
論文連結：https://arxiv.org/pdf/1805.04655.pdf
3. Let’s do it “again”: A First Computational Approach to Detecting Adverbial Presupposition Triggers. Andre Cianflone,* Yulan Feng,* Jad Kabbara* and Jackie Chi Kit Cheung. (* equal contribution)
這篇論文也提出了一個新任務，預測副詞詞性的假定形態觸發語（adverbial presupposition triggers），並且提出了針對此任務的一個計算方法。該論文關注了語言學中的一個現象，而語言學的知識也是幾乎歷年ACL最佳論文中都會稍加側重的點。由於筆者的語言學知識不豐富，所以就不具體闡述了，大家有興趣可以自己閱讀。
論文連結：https://arxiv.org/pdf/1806.04262.pdf
最佳短文：
1. Know What You Don’t Know: Unanswerable Questions for SQuAD. Pranav Rajpurkar, Robin Jia and Percy Liang
機器閱讀理解是近年來興起的任務之一，業內頂級的機器閱讀理解水平測試當屬基於SQuAD資料集（Stanford Question Answering Dataset）的文字理解挑戰賽，在SQuAD資料集中，機器需要“閱讀”一篇短文章，並回答一系列相關的閱讀理解題。但在現實中，可能有一些問題根據文章是無法回答的，這個時候機器應當拒絕回答。為了考察機器的這一點，作者釋出了SQuAD 2.0資料集，它在之前SQuAD資料集的基礎上，增加了50,000條人工標註的不可回答問題，這樣機器不僅需要正確回答可以回答的問題，還需要正確識別出不可回答的問題。這一資料集的釋出將會進一步推動機器閱讀理解的研究。
論文連結：https://arxiv.org/pdf/1806.03822.pdf
2. ‘Lighter’ Can Still Be Dark: Modeling Comparative Color Descriptions. Olivia Winn and Smaranda Muresan
這篇論文對於顏色的比較級描述（更亮ligher，更暗darker）進行了建模，能夠對於給定的RGB色彩和比較級形容詞的描述，得到期望的色彩。這篇論文同樣釋出了一個針對此任務的資料集。
論文連結：http://aclweb.org/anthology/P18-2125
在本次大會上，筆者結合自己的研究興趣，重點關注了機器翻譯的分會議。在兩天的oral presentation中，有兩篇論文都提到了文件級的機器翻譯（document-level neural machine translation）。與句子級別的翻譯相比，文件級別的翻譯主要面臨兩個方面的挑戰，一是指代消解問題，二是用詞一致性的問題。因為在文件中，代詞的出現是十分常見的，同時對於同一文件的同一個問題，前後敘述的用詞也應當是一致的，這跟獨立的句子有很大不同。
而在文件級別的機器翻譯任務上，還沒有一個統一的資料集，因此這兩篇論文中，作者選取的都是字幕資料集，將影片字幕作為一篇文件來處理。同時，文件級機器翻譯目前也還沒有專門的自動評測指標。
在論文Context-Aware Neural Machine Translation Learns Anaphora Resolution中，作者基於現有的Transformer模型，構造了源語言編碼器（source encoder）和上下文編碼器（context encoder），兩個編碼器的輸出經過一個統一的注意力層（attention layer），得到上下文相關的源語言表示。透過詳細的實驗分析與舉例論證，作者發現透過這種方式引入上下文資訊後，模型能夠處理文件級機器翻譯中的指代消解問題。在下圖的attention圖中可以看到，對於“it”這個代詞，模型能夠較為準確地將其對應到上文中的“heart”這個詞上，從而可以在翻譯到目標語言時完成指代消解。
Context-Aware Neural Machine Translation Learns Anaphora Resolution, Voita et al.
論文連結：http://aclweb.org/anthology/P18-1117
Transformer, Vaswani et al.
論文連結：https://arxiv.org/pdf/1706.03762.pdf
圖4 引入上下文資訊幫助指代消解
另一篇論文Document Context Neural Machine Translation with Memory Networks中，作者將文件級的機器翻譯任務視作結構預測問題，透過構造源語言端和目標語言端的兩個記憶網路（memory networks），來儲存源語言文件和目標語言文件中句子之間的依賴關係，解碼器將記憶網路中的儲存資訊作為條件進行解碼，模型結構如下圖所示。透過這個方法，模型可以更好地利用上下文資訊，幫助解碼器更好地進行指代消解等。實驗結果表明，該方法的效能相比之前的工作有顯著提升。
圖5 引入記憶網路的模型結構
Document Context Neural Machine Translation with Memory Networks, Maruf et al.
論文連結：https://arxiv.org/pdf/1711.03688.pdf
同時，本次大會依然有不少對注意力機制（attention）的研究。注意力機制自2014年提出，從起初針對RNN的attention，到後來針對CNN的attention，一直髮展到最近的Transformer模型中的self-attention，注意力機制一直是業界的興趣點之一。
在本次大會的一篇長文How Much Attention Do You Need? A Granular Analysis of Neural Machine Translation Architectures中，作者透過對不同模型的元件進行組合，對其中的注意力機制進行了詳細的實驗分析，得出了兩個有趣的結論：
1、即使不用self-attention，透過借鑑Transformer模型中的一些設計思想，如採用multi-head attention、層歸一化、增加前饋層等，RNN和CNN模型也能夠達到Transformer的水平。
2、在源端採用self-attention要比在目標端採用更為重要，即使在目標端不採用self-attention，模型也可以達到不錯的效果。
How Much Attention Do You Need? A Granular Analysis of Neural Machine Translation Architectures, Domhan
論文連結：http://aclweb.org/anthology/P18-1167
微軟亞洲研究院在今年ACL上的表現也可圈可點，共有6篇長文與2篇短文入選，涉及語法糾錯、文字摘要、語義分析、機器翻譯、聊天等多個任務。
1. Fluency Boost Learning and Inference for Neural Grammatical Error Correction. Tao Ge, Furu Wei, Ming Zhou.
本文針對語法糾錯任務，提出了流暢度提升學習和推斷方法，分別用於解決訓練資料較少和句子錯誤太多時模型無法完全將句子糾正過來的問題。
論文連結：http://aclweb.org/anthology/P18-1097
2. Neural Document Summarization by Jointly Learning to Score and Select Sentences. Qingyu Zhou, Nan Yang, Furu Wei, Shaohan Huang, Ming Zhou, Tiejun Zhao.
本文針對文字摘要任務，提出了一種端到端的抽取式文字摘要模型，將選擇策略整合到打分模型中，解決了此前抽取式文字摘要中句子打分和句子選擇這兩部分割裂的問題。
論文連結：https://arxiv.org/pdf/1807.02305.pdf
3. Retrieve, Rerank and Rewrite: Soft Template Based Neural Summarization. Ziqiang Cao, Wenjie Li, Sujian Li, Furu Wei.
此前，序列到序列的文字摘要方法只依賴原文字來產生摘要。本文受基於模板的文字摘要方法的啟發，將已有摘要作為軟模板（soft templates）來指導文字摘要的生成。
論文連結：http://www4.comp.polyu.edu.hk/~cszqcao/data/IRSum.pdf
4. Semantic Parsing with Syntax- and Table-Aware SQL Generation. Yibo Sun, Duyu Tang, Nan Duan, Jianshu Ji, Guihong Cao, Xiaocheng Feng, Bing Qin, Ting Liu, Ming Zhou.
本文透過考慮資料庫表的結構和SQL語言的語法特徵，提出了一種生成式模型將自然語言的查詢語句對映為SQL語句，解決了之前此任務中逐詞生成SQL語句的缺陷。
論文連結：https://arxiv.org/pdf/1804.08338.pdf
5. Triangular Architecture for Rare Language Translation. Shuo Ren, Wenhu Chen, Shujie Liu, Mu Li, Ming Zhou, Shuai Ma.
本文針對小語種翻譯問題，設計了一種新穎的三角結構，引入大語種豐富的雙語語料，透過EM演算法來輔助提升小語種的翻譯，解決了小語種翻譯問題上資料稀疏的問題。
論文連結：https://arxiv.org/pdf/1805.04813.pdf
6. Using Intermediate Representations to Solve Math Word Problems. Danqing Huang, Jin-Ge Yao, Chin-Yew Lin, Qingyu Zhou, Jian Yin.
本文提出了一種中間語義表示方法，作為隱空間來輔助自然語言到數學方程的對映，解決了此前自然語言和數學方程直接對映時gap過大的問題。
論文連結：http://aclweb.org/anthology/P18-1039
7. Learning Matching Models with Weak Supervision for Response Selection in Retrieval-based Chatbots. Yu Wu, wei wu, Zhoujun Li, Ming Zhou.
本文提出了一種利用未標註資料來學習匹配模型（matching model）的方法，解決基於檢索的聊天機器人中的回覆選擇問題。
論文連結：https://arxiv.org/pdf/1805.02333.pdf
8. Neural Open Information Extraction. Lei Cui, Furu Wei, Ming Zhou.
本文基於編碼器-解碼器架構，提出了神經開放資訊抽取方法，用於解決此前開放資訊抽取系統中由於採用手工模式特徵（如語法分析）而導致的錯誤傳播問題。
論文連結：https://arxiv.org/pdf/1805.04270.pdf