自然語言處理的國際頂級會議 ACL2019 剛在文藝復興的發源地-義大利的佛羅倫薩落下帷幕，最佳論文等各獎項也都名花有主。本文概述了ACL對話與互動系統中的報告論文，16 篇優秀論文看這篇文章就行。
這次會議共接收到投稿 2905 篇，比 2018 的 1544 近乎翻倍，接收文章數為 660 篇，接收率為 22.7%，與 2018 年的 24.9%，2017 年的 23.3% 差別不大。
這次會議包含了 22 個主題，中國學者表現出色，長文投稿 567 篇，被接收 118 篇，接收率在 20.8%，僅次於美國的 154 篇，並且斬獲了本次會議的最佳論文獎項。
我們對對話系統比較關注，因而梳理了會議中 Dialog and Interactive Systems（對話和互動系統）下的文章，該主題共接收長文 38 篇，有 16 篇在會議中做了報告。下面介紹報告中的相關論文。
本次會議中，Dialog and Interactive Systems 分了三個 p，分別是 Neural Conversation Models, Task-Oriented Dialog, 和 New Task。
神經網路對話模型（Neural Conversation Models）
這個 p 的工作，是在給定對話歷史的情況下，如何透過模型來選擇對話中最優的回答：
論文 1：Boosting dialog response generation
作者：WenChao Du，Alan W Black
論文連結：https://www.aclweb.org/anthology/P19-1005
文章針對對話系統中容易出現的通用和一般性回答，做了些最佳化來提升生成對話文字的相關性和多樣性。其工作，是基於 RAML（Reward-augmented Maximum likelihood learning, Norouzi 2016）模型：該模型的目標是最大化預測的分佈 y*在模型中條件機率分佈 p（y|x），並在模型迭代中採用連乘的 boosting，使每一輪迭代能更好的模擬分佈。
本文的最佳化，是在模型迭代中假設訓練資料的分佈服從均勻分佈，來簡化 boosting 的過程，並把這個假設擴充套件到 RAML 模型的指數回報分佈（exponential payoff distribution）中：
在實驗中，作者發現通用的回答也不一定總是有低混淆度 Perplexities（Li 2017b），而高混淆度會在迭代中增強對應的回答的權重，導致通用回答在後面的迭代中出現的頻率越來越高。普通的區分模型，是透過學習人產生的回答與生成式回答的差異，但在這，生成式回答數量太少，模型能輕易記住所有人類的回答，導致模型不好泛化。
作者採用了一個基於規則的區分模型：在每次迭代中，保留一個最常出現的生成式回覆的列表，並用一個簡單的二分函式來判斷兩個回覆是否相似，用這個相似得分去更新資料的權重。最後在 Persona Dataset（zhang 2018）上做了實驗驗證，表明模型在 BLUE 上和現有的模型接近，ROUGH 值有時會變差，但是在多樣性的指標上，比如不同 n-gram 的個數，則有明顯的提升。
論文 2：：Do Neural Dialog Systems Use the Conversation History Effectively? An Empirical Study
作者：Chinnadhurai Sankar，Sandeep Subramanian，Christopher Pal，Sarath Chandar，Yoshua Bengio
論文連結：https://www.aclweb.org/anthology/P19-1004
Bengio 大神署名的文章，主要是研究現有的神經網路模型是否有效利用了對話歷史，其方法，是在對話歷史中加入一點擾動，比如，改變對話資料的先後順序，或者改變詞的順序，然後看模型計算的條件機率是否有變化。需要注意的是，擾動只是發生在預測階段，而訓練階段，是沒有對資料做修改的。
文章在 4 個資料集上（bAbI dialog，Persona Chat，Dailydialog，MutualFriends），加入了 10 種不同的擾動（隨機打亂句子序列，去掉某個整句，句子截斷，去掉句子中的名詞或動詞等），發現 seq2seq 的 model（Bahdanau 2015），以及 transformer 的 model（Vaswani 2017）等對這些擾動都不敏感。