不容錯過！ACL 2019論文解讀合集！

第57屆國際計算語言學協會年會（ACL 2019）已於本月初在義大利佛羅倫薩閉幕。作為自然語言處理（NLP）領域的國際頂級學術會議，自1962年成立之初，ACL就一直致力於推動計算語言學及自然語言處理相關研究的發展和國際學術交流。

本次會議創下了國際NLP頂會的新紀錄，論文提交數量飆升到2906篇，最終收錄論文660篇，錄取率僅為22.7%。今年會議投稿最多的3個領域分別是，資訊提取和文字挖掘佔所有有效提交的 9.2%；機器學習佔比 8.2%；機器翻譯佔比 7.7%。可見，自然語言處理研究是迎來了黃金時代。

學術君整理了ACL 2019收錄的部分論文，除了對8篇最佳論文的介紹，我們還對本公號近期釋出的ACL 2019論文解讀文章進行了彙總整理，供大家學習參考。

論文作者：Wen Zhang， Yang Feng， Fandong Meng， Di You ，Qun Liu

論文地址：https://arxiv.org/pdf/1906.02448.pdf

論文摘要：

神經機器翻譯（NMT）是以上下文為條件來預測下一個詞，從而順序地生成目標詞。在訓練時，它以ground truth詞彙作為上下文進行預測；而在推理時，它必須從頭開始生成整個序列。反饋上下文資訊的這種差異會導致誤差累積。此外，詞級訓練要求所生成的序列與ground truth序列之間嚴格匹配，這導致對不同的但合理的翻譯的過度校正。在本文中，我們在模型訓練中不僅從ground truth序列還從預測序列中來取樣上下文，其中預測序列是用句子級最優來選擇的。我們在Chinese->English 和 WMT‘14 English->German的翻譯任務的實驗結果表明，我們的方法可以在多個資料集上實現顯著的改進。

論文作者：Nanjiang Jiang， Marie-Catherine de Marneffe

論文地址：https://www.aclweb.org/anthology/P19-1412

論文摘要：

當一個人，比如 Mary問你“你知不知道佛羅倫薩全都是遊客？”，我們會認為她相信佛羅倫薩全都是遊客；但如果她問“你覺得佛羅倫薩遊客多嗎？”，我們就不會這樣認為。推斷說話人承諾（或者說事件真實度）是問答和資訊提取任務中的關鍵部分。

在這篇論文中，作者們探索了這樣一個假說：語言學資訊的缺乏會影響說話人承諾模型中的錯誤模式。他們的驗證方式是在一個有挑戰性的自然語言資料集上分析模型錯誤的語言學關聯性。作者們在 CommitmentBank 這個由自然英語對話組成的資料集上評價了兩個目前最好的說話人承諾模型。CommitmentBank 資料集已經經過了說話人承諾標註，方式是在 4 種取消蘊含的環境中向著時態嵌入動詞（比如知道、認為）的補充內容進行標註。作者們發現，一個帶有語言學知識的模型能展現比基於 LSTM 的模型更好的表現，這表明如果想要在這樣的有挑戰性的自然語言資料中捕捉這些資訊的話，語言學知識是必不可少的。對語言學特徵的逐項分析展現出了不對稱的錯誤模式：雖然模型能在某些狀況下得到好的表現（比如否定式），但它很難泛化到更豐富的自然語言的語言學結構中（比如條件句式），這表明還有很大提升的空間。

論文作者：Rui Xia， Zixiang Ding

論文地址：https://arxiv.org/pdf/1906.01267.pdf

論文摘要：

情緒原因提取（Emotion cause extraction ，ECE）是一項旨在提取文字中某些情緒背後潛在原因的任務，近年來由於其廣泛的應用而受到了很多關注。然而，它有兩個缺點：1）情緒必須在ECE原因提取之前進行標註，這極大地限制了它在現實場景中的應用；2）先標註情緒然後提取原因的方式忽略了它們是相互指示的事實。在這項工作中，我們提出了一項新任務：情緒 - 原因對提取（emotion-cause pair extraction ，ECPE）。這個任務旨在提取文字中潛在的情緒-原因對。我們提出了兩步法來解決這個新的ECPE任務。首先透過多工學習單獨地進行的情緒提取和原因提取，然後進行情緒-原因配對和過濾。基準情緒-原因語料庫的實驗結果證明了ECPE任務的可行性以及我們方法的有效性。

論文作者：Maxime Peyrard

論文地址：https://www.aclweb.org/anthology/P19-1101

論文摘要：

摘要研究主要由經驗方法驅動，手工精心調製的系統在標準資料集上表現良好，但其中的資訊重要性卻處於隱含狀態。我們認為建立重要性（Importance）的理論模型會促進我們對任務的理解，並有助於進一步改進摘要系統。為此，我們提出了幾個簡單但嚴格定義的概念：冗餘（Redundancy），相關性（Relevance）和資訊性（Informativeness）。這些概念之前只是直觀地用於摘要，而重要性是這些概念統一的定量描述。此外，我們提供了建議變數的直觀解釋，並用實驗證明了框架的潛力以指導後續工作。

論文作者：Chien-Sheng Wu， Andrea Madotto， Ehsan Hosseini-Asl， Caiming Xiong， Richard Socher and Pascale Fung

論文地址：https://arxiv.org/pdf/1905.08743.pdf

論文摘要：

過度依賴領域本體和缺乏跨領域知識共享是對話狀態跟蹤的兩個實際存在但研究較少的問題。現有方法通常在在推理過程中無法跟蹤未知slot 值，且通常很難適應新領域。在本文中，我們提出了一個可轉換對話狀態生成器（Transferable Dialogue State Generator，TRADE）它使用複製機制從話語中生成對話狀態，當預測在訓練期間沒有遇到的（domain，slot，value）三元組時可以促使知識轉移。我們的模型由一個話語編碼器、slot gate、狀態生成器組成，它們跨域共享。實驗結果表明，TRADE在人類對話資料集MultiWOZ的五個領域中實現了最先進的聯合目標準確率48.62%。此外，我們透過模擬針對未見過的領域的zero-shot和few-shot對話狀態跟蹤，證明了其傳輸效能。在其中一個zero-shot域中TRADE實現了60.58%的聯合目標準確率，並且能夠適應少數幾個案例而不會忘記已經訓練過的域。

論文作者：Kyle Gorman and Steven Bedrick

論文地址：https://wellformedness.com/papers/gorman-bedrick-2019.pdf

論文摘要：

語音和語言技術的標準做法是根據在一個測試集上的效能來對系統進行排名。然而很少有研究人員用統計的方法來測試效能之間的差異是否是由偶然原因造成的，且很少有人檢查同一個資料集中分割出不同的訓練-測試集時的系統排名的穩定性。我們使用了2000年至2018年間釋出的九個詞性標註器進行復現實驗，這些標註器每個都聲稱在廣泛使用的標準的分割方式上獲得了最佳效能。然而當我們使用隨機生成的訓練-測試集分割時，根本無法可靠地重現某些排名。我們在此建議使用隨機生成的分割來進行系統比較。

論文作者：Lajanugen Logeswaran， Ming-Wei Chang， Kenton Lee， Kristina Toutanova， Jacob Devlin and Honglak Lee

論文地址：https://arxiv.org/pdf/1906.07348.pdf

論文摘要：

我們提出了zero-shot實體連結任務，其中mentions必須連結到沒有域內標記資料的未曾見過的實體。這樣做的目的是實現向高度專業化的領域的魯棒遷移，因此我們不會假設有後設資料或別名表。在這種設定中，實體僅透過文字描述進行標記，並且模型必須嚴格依賴語言理解來解析新實體。首先，我們表明對大型未標記資料進行預訓練的閱讀理解模型可用於推廣到未曾見過的實體。其次，我們提出了一種簡單有效的自適應預訓練策略，將其稱為域自適應預訓練（domain-adaptive pre-training ，DAP），DAP可以解決與在新域中連結未見實體的域遷移問題。我們在為此任務構建的新資料集上進行的實驗，顯示了DAP在強預訓練基線（包括BERT）上有所改進。

論文作者：Fabio Kepler， Jonay Trenous， Marcos Treviso， Miguel Vera and André F. T. Martins

論文地址：https://arxiv.org/pdf/1902.08646.pdf

論文摘要：

基於PyTorch的開源框架OpenKiwi，該框架可用於翻譯質量評估。OpenKiwi支援單詞級和句子級質量評估系統的訓練和測試，實現了WMT 2015-18 質量評估比賽中的最佳系統。我們在WMT 2018（英-德 SMT 和NMT）的兩個資料集上對OpenKiwi進行了基準測試，在單詞級任務達到最先進的水平，句子級任務中也能夠接近最先進的水平。

以下十篇文章是本公眾號近來發布的對ACL 2019相關論文的解讀。

論文作者：Deepak Nathani，Jatin Chauhan，Charu Sharma， Manohar Kaul

論文地址：https://arxiv.org/pdf/1906.01195.pdf

論文解讀：為知識圖譜新增注意力機制

ConvE和ConvKB等基於卷積神經網路（CNN）的表示學習方法可以為知識圖譜生成更豐富和表現力更強的向量表示，也取得了很好的實驗效果。但是這些模型僅僅獨立地表示每一個三元組，而忽略了三元組周圍的鄰居中蘊含的複雜語義資訊，這在一定程度上限制了這類模型的效能。本論文將注意力機制引入到了每個三元組的鄰居中，每個實體的表示都與其鄰居息息相關。值得注意的是，傳統的表示學習模型在進行實體連結預測時，是沒有解釋性的，僅僅可以給出結果。但是加入了注意力機制後，我們便可以使用每個鄰居的注意力權重為模型的預測結果做出一定的解釋。

論文作者：Ming Ding， Chang Zhou， Qibin Chen， Hongxia Yang， Jie Tang

論文地址： https://arxiv.org/pdf/1905.05460.pdf

論文解讀：揭秘認知圖譜！從多跳閱讀理解問答開始

本篇論文介紹了基於認知中“雙過程理論（dual process theory）”的CogQA模型，文章提出一種新穎的迭代框架：演算法模擬認知學中人類的兩個認知系統，並維護一張認知圖譜（Cognitive Graph），系統一在文字中抽取與問題相關的實體名稱並擴充套件節點和彙總語義向量，系統二利用圖神經網路在認知圖譜上進行推理計算。文章在HotpotQA全維基百科資料集上持續佔據第一近三個月之久，直到文章在被ACL高分接收後公開。

在圖靈獎得主Judea Pearl的新作《The Book of Why》中，他強調了圖結構在認知和智慧中的重要地位--智慧不能拘泥於統計，更應該注重因果與邏輯鏈條，而後者則與圖結構密不可分。認知圖譜（Cognitive Graph）則是圖結構在問答問題上的一次有意義的嘗試，BERT、XLNet這樣的預訓練模型是否是認知理論中“系統一”的最終答案？圖結構到底應該怎樣服務於“系統二”的推理呢，比如如果能夠對超長的文字進行注意力（attention）機制，那麼象徵著因果和邏輯的結構資訊究竟是否必要？自然語言處理正處在一個蓬勃發展的時期，希望這篇文章可以給大家更多的思考。

論文作者：Ziniu Hu， Ting Chen， Kai-Wei Chang， Yizhou Sun

論文地址：https://arxiv.org/pdf/1907.00505.pdf

論文解讀：Few-shot Learning學習詞表外的詞表示

現有的詞嵌入方法通常假設在語料中每個詞都出現足夠多次，這樣我們就可以透過詞的上下文獲得該詞的詞表示。但在現實世界的場景中，經常有些詞不會頻繁出現在訓練集中，這就為學習他們的詞表示帶來了挑戰。

該論文將學習詞表外詞表示看做few-shot迴歸問題，提出了一種新的基於層次關注的架構作為神經迴歸函式，利用該神經迴歸函式，從K個觀察值對單詞的上下文資訊進行編碼和聚合。此外，還可以利用模型不可知元學習（MAML）來快速有效地使學習模型適應新的語料庫。

論文作者：Yunxuan Xiao，Yanru Qu，Lin Qiu，Hao Zhou，Lei Li，Weinan Zhang， Yong Yu

論文地址：https://arxiv.org/pdf/1905.06933.pdf

論文解讀：用於多跳推理的動態融合圖網絡

多文件問答是自然語言處理領域近期比較火熱的一個研究問題，不同於傳統的問答系統，多文件問答需要模型從數個文件中協同地尋找問題的答案，這對模型的多跳推理能力提出了很高的要求。

基於文字的問答（Text-based QA）是自然語言處理領域的一個經典問題，大多數現有的方法都是側重於在一段話中找到問題的答案。然而在實際的生活中，許多困難的問題往往需要在兩個甚至多個文件中的文字中尋找答案的證據。為了推動這類困難問題的進一步研究，在去年的EMNLP 2018上，楊植麟等人提出了HotpotQA資料集。

上圖便是HotpotQA的一個問答示例，為了回答問出的問題，一個模型往往需要處理給出的全部的參考段落，在其中找到答案存在的證據。

為了解決這類問題，這篇論文便提出了一個稱為動態融合圖網絡（DFGN）的模型。這個模型受人類一步步推理行為的啟發，首先為文件中出現的實體構建圖網絡，之後從給定問題中提到的實體出發，沿著文件構造的實體圖出發進行搜尋，逐步給出文件中找出的相關實體作為最終答案。

論文作者：Tsu-Jui Fu， Peng-Hsuan Li， Wei-Yun Ma

論文地址：https://tsujuifu.github.io/pubs/acl19_graph-rel.pdf

論文解讀：將文字建模為關係圖用於關係提取

提取實體和語義關係是從非結構化文字構建知識結構的核心任務，傳統的流水線方法通常是先進行命名實體識別然後對實體關係進行預測，聯合學習實體識別和關係抽取能獲得更好的效果，但這些聯合模型需要進行大量的特徵工程。已有的神經網路方法都不是端到端的聯合模型，他們假設已知命名實體並預期現實世界的命名實體識別會導致模型表現顯著降低。

本文提出了一個端到端的關係提取模型GraphRel，使用GCN和Bi-LSTM編碼器學習抽取命名實體及關係，考慮了線性和依賴結構，以及文字的所有單詞對之間的隱式特徵；透過端到端的實體、關係聯合建模，同時對所有實體對進行預測；也考慮到了實體和關係之間的相互作用。

論文作者：Livio Baldini Soares ，Nicholas FitzGerald ，Jeffrey Ling， Tom Kwiatkowsk

論文地址：https://arxiv.org/pdf/1906.03158.pdf

論文解讀：Matching the Blanks 預訓練關係表示模型

通用目的（General Purpose）的關係抽取器，即能夠對任意關係建模的關係抽取器，是資訊抽取研究中的願景。之前提出的構建通用關係抽取器的方法，如用表面形式（Surface Form）來表示關係，或者聯合嵌入關係的表面形式和知識庫中的關係的方法，都不能夠很好地泛化。

論文使用Bert來對文字關係進行表示，並且提出了Matching the blanks的方法來預訓練任務不可知（task agnostic）的關係抽取模型。論文的模型在Few-shot關係抽取的資料集FewRel上達到了SO他的結果，並超過了資料集給定的人類水平，並且在有監督的關係抽取資料集SemEval 2010 Task8、KBP37、TACRED上也達到了SO他的效果。

論文的貢獻主要有兩個：

- 測試了Bert的不同的輸入方式和輸出方式對關係抽取結果的影響；

- 提出了關係抽取預訓練任務Matching the blanks，在少樣本關係抽取任務上效果提升明顯。

論文作者：Logan Lebanoff，Kaiqiang Song，Franck Dernoncourt，Doo Soon Kim，Seokhwan Kim，Walter Chang，Fei Liu

論文地址：https://arxiv.org/pdf/1906.00077.pdf

論文解讀：基於單句和雙句打分的生成式摘要

生成式摘要（Abstractive Summarization）的目標是對輸入的一篇文件生成一段較短的摘要，以概括原文件的內容。為了提高生成質量，已有的一些方法會先從原文中抽取一些代表性的句子，然後再基於該句子集合使用 seq2seq 模型進行改寫，從而得到生成的結果。本文作者認為，在生成摘要的過程中，除了需要對單個代表性句子進行壓縮或改寫，還需要考慮多個句子的資訊融合，尤其是兩個句子（即 Sentence Pair）的資訊融合。作者給出了三個摘要資料集（XSum，DUC04，CNN/Daily Mail）中的統計資訊以驗證其猜想，如下圖所示，可以看到有相當數量的摘要是透過融合兩句話得到的。

基於這個觀察，本文提出了一種對單個句子和句子進行聯合打分的方法，用來篩選代表性的句子或句子對。本文探索了多種句子表示方式，並報告了詳細的實驗結果。

論文作者：Laura Perez-Beltrachini，Yang Liu，Mirella Lapata

論文地址：https://arxiv.org/pdf/1906.04687.pdf

論文解讀：利用主題模板進行維基百科摘要生成

生成式多文件摘要的目標是從一系列理論上相關的文件中生成一個合乎邏輯的摘要。最近，谷歌將生成維基百科文件的導讀部分看作了一個多文件摘要任務的變種，併發布了一個大規模的摘要資料集WikiSum。然而，之前的摘要工作大多將摘要結果看作單個長文字序列，忽視了文件常常分為多個主題，並且一類文件可以看作由多個主題按順序排列得到：如動物類文件通常會按順序講述其生活區域與棲息地類別。這些資訊可以幫助生成更流暢的摘要。

本文提出了一個由主題結構作指導的神經網路模型，沒有使用常見的迴圈神經網路，而是在卷積解碼器的基礎上顯性地加入了內容的主題結構，從而生成完整而流暢的摘要。此外，本文還提供了資料集WIKICATSUM，其中包含公司、電影與動物三個領域的維基百科文件與對應的候選片段。

論文作者：Fanchao Qi， Junjie Huang， Chenghao Yang ， Zhiyuan Liu ， Xiao Chen ， Qun Liu， Maosong Sun

論文地址：https://arxiv.org/pdf/1907.04744.pdf

論文解讀：用義原知識建模語義合成

https://www.aminer.cn/research_report/5d54f241d5e908133c946b7a？download=false

語義合成指複雜語義單元的語義可以由其成分的語義組成的現象。這篇文章驗證了義原知識對於建模語義合成的作用。並將義原知識整合到語義合成的模型中，來進行多詞表示式的學習。作者使用著名的義原知識庫Hownet進行了訓練和測試，驗證了義原知識對建模語義合成的有效性。

義原是人類語言的最小語義單位。單詞的語義可以用一個有限的義原集合來描述。Hownet是一個著名的義原知識庫，其中定義了2000多個義原，並且使用義原描寫了100000多箇中文單詞。

作者首先進行了一個小實驗，測量語義組合度（Semantic Compositionality Degree）。作者發現基於義原公式計算出來的語義組合度和人類計算出來的語義組合度十分吻合，因此猜測義原知識可以提升MWE的表示。

小實驗介紹：不同的MWE展現了不同程度的語義組合，如表1，作者定義了四種語義組合度，SCD的number（3，2，1，0）越大，代表語義組合度越高。第一種計算語義符合度的方式是根據義原集合來計算。第二種計算方式由人類去進行組合度打分。實驗發現兩種計算方式的吻合度很高。