感謝閱讀騰訊AI Lab微訊號第31篇文章，本文將詳解2018年NLP領域頂級學術會議ACL上，騰訊AI Lab入選5篇文章中的4篇長文。
這是騰訊 AI Lab 第二次參加ACL，共5篇論文入選（去年為3篇），涉及神經機器翻譯、情感分類和自動評論等研究方向。下面將著重介紹其中4篇長文的研究內容。
此外，在近期結束的多個頂級學術會議中，騰訊AI Lab也入選多篇論文，位居國內企業前列，包括ICML 2018（16篇），CVPR 2018（21篇）和此前的NIPS 2017（8篇）。
1、通往魯棒的神經網路機器翻譯之路
Towards Robust Neural Machine Translation
論文地址：https://arxiv.org/abs/1805.06130
在神經機器翻譯（NMT）中，由於引入了迴圈神經網路（RNN）和注意力機制，上下文中的每個詞都可能影響模型的全域性輸出結果，這有些類似於“蝴蝶效應”。也就是說，NMT 對輸入中的微小擾動極其敏感，比如將輸入中某個詞替換成其近義詞就可能導致輸出結果發生極大變化，甚至修改翻譯結果的極性。針對這一問題，研究者在本論文中提出使用對抗性穩定訓練來同時增強神經機器翻譯的編碼器與解碼器的魯棒性。
上圖給出了該方法的架構示意，其工作過程為：給定一個輸入句子 x，首先生成與其對應的擾動輸入 x'，接著採用對抗訓練鼓勵編碼器對於 x 和 x' 生成相似的中間表示，同時要求解碼器端輸出相同的目標句子 y。這樣能使得輸入中的微小擾動不會導致目標輸出產生較大差異。
研究者在論文中提出了兩種構造擾動輸入的方法。第一種是在特徵級別（詞向量）中加入高斯噪聲；第二種是在詞級別中用近義詞來替換原詞。
研究表明，該框架可以擴充套件應用於各種不同的噪聲擾動並且不依賴於特定的 NMT 架構。實驗結果表明該方法能夠同時增強神經機器翻譯模型的魯棒性和翻譯質量，下表給出了在 NIST 漢語-英語翻譯任務上的大小寫不敏感 BLEU 分數。
可以看到，研究者使用極大似然估計（MLE）訓練的 NMT 系統優於其它最好模型大約 3 BLEU。
2、Hyperdoc2vec：超文字文件的分散式表示
hyperdoc2vec: Distributed Representations of Hypertext Documents
論文地址：https://arxiv.org/abs/1805.03793
現實世界中很多文件都具有超連結的結構。例如，維基頁面（普通網頁）之間通過 URL 互相指向，學術論文之間通過引用互相指向。超文件的嵌入（embedding）可以輔助相關物件（如實體、論文）的分類、推薦、檢索等問題。然而，針對普通文件的傳統嵌入方法往往偏重建模文字/連結網路中的一個方面，若簡單運用於超文件，會造成資訊丟失。
本論文提出了超文件嵌入模型在保留必要資訊方面應滿足的四個標準，並且表明已有的方法都無法同時滿足這些標準。這些標準分別為：
內容敏感（content awareness）：超文件的內容自然在描述該超文件方面起主要作用。
上下文敏感（context awareness）：超連結上下文通常能提供目標文件的總結歸納。
新資訊友好度（newcomer friendliness）：對於沒有被其它任何文件索引的文件，需要採用適當的方式得到它們的嵌入。
語境意圖敏感（context intent awareness）：超連結周圍的“evaluate ... by”這樣的詞通常指示了源超文件使用該引用的原因。
為此，研究者提出了一種新的嵌入模型hyperdoc2vec。不同於大多數已有方法，hyperdoc2vec 會為每個超文件學習兩個向量，以表徵其引用其它文件的情況和被引用的情況。因此，hyperdoc2vec 可以直接建模超連結或引用情況，而不損失其中包含的資訊。下面給出了 hyperdoc2vec 模型示意圖：
為了評估所學習到的嵌入，研究者在三個論文領域資料集以及論文分類和引用推薦兩個任務上系統地比較了 hyperdoc2vec 與其它方法。模型分析和實驗結果都驗證了 hyperdoc2vec 在以上四個標準下的優越性。下表展示了在 DBLP 上的 F1 分數結果：
可以看到，新增了 DeepWalk 資訊後基本都能得到更優的結果；而不管是否使用了 DeepWalk，hyperdoc2vec 的結果都是最優的。
3、TNet：面向評論目標的情感分類架構
Transformation Networks for Target-Oriented Sentiment Classification
論文地址：https://arxiv.org/abs/1805.01086
開源專案：https://github.com/lixin4ever/TNet
面向評論目標（opinion target）的情感分類任務是為了檢測使用者對於給定評論實體的情感傾向性。直觀上來說，帶注意機制的迴圈神經網路（RNN）很適合處理這類任務，以往的工作也表明基於這類模型的工作確實取得了很好的效果。
研究者在這篇論文中嘗試了一種新思路，即用卷積神經網路（CNN）替代基於注意機制的RNN 去提取最重要的分類特徵。由於 CNN 很難捕捉目標實體資訊，所以研究者設計了一個特徵變換元件來將實體資訊引入到單詞的語義表示當中。但這個特徵變換過程可能會使上下文資訊丟失。針對這一問題，研究者又提出了一種“上下文保留”機制，可將帶有上下文資訊的特徵和變換之後的特徵結合起來。
綜合起來，研究者提出了一種名為目標特定的變換網路（TNet）的新架構，如下左圖所示。其底部是一個 BiLSTM，其可將輸入變換成有上下文的詞表示（即 BiLSTM 的隱藏狀態）。其中部是 TNet 的核心部分，由 L 個上下文保留變換（CPT）層構成。最上面的部分是一個可感知位置的卷積層，其首先會編碼詞和目標之間的位置相關性，然後提取資訊特徵以便分類。
右圖則展示了一個 CPT 模組的細節，其中有一個全新設計的 TST 元件，可將目標資訊整合進詞表示中。此外，其中還包含一個上下文保留機制。
研究者在三個標準資料集上評估了新提出的框架，結果表明新方法的準確率和 F1 值全面優於已有方法；下表給出了詳細的實驗結果。
本研究的相關程式碼已經開源。
4、兼具領域適應和情感感知能力的詞嵌入學習
Learning Domain-Sensitive and Sentiment-Aware Word Embeddings
論文地址：https://arxiv.org/abs/1805.03801
詞嵌入是一種有效的詞表示方法，已被廣泛用於情感分類任務中。一些現有的詞嵌入方法能夠捕捉情感資訊，但是對於來自不同領域的評論，它們不能產生領域適應的詞向量。另一方面，一些現有的方法可以考慮多領域的詞向量自適應，但是它們不能區分具有相似上下文但是情感極性相反的詞。
在這篇論文中，研究者提出了一種學習領域適應和情感感知的詞嵌入（DSE）的新方法，可同時捕獲詞的情感語義和領域資訊。本方法可以自動確定和生成領域無關的詞向量和領域相關的詞向量。模型可以區分領域無關的詞和領域相關的詞，從而使我們可以利用來自於多個領域的共同情感詞的資訊，並且同時捕獲來自不同領域的領域相關詞的不同語義。
在 DSE 模型中，研究者為詞彙表中的每個詞都設計了一個用於描述該詞是領域無關詞的概率的分佈。這個概率分佈的推理是根據所觀察的情感和上下文進行的。具體而言，其推理演算法結合了期望最大化（EM）方法和一種負取樣方案，其過程如下演算法 1 所示。
其中，E 步驟使用了貝葉斯規則來評估每個詞的 zw（一個描述領域相關性的隱變數）的後驗分佈以及推導目標函式。而在 M 步驟中則會使用梯度下降法最大化該目標函式並更新相應的嵌入。
研究者在一個亞馬遜產品評論資料集上進行了實驗，下表給出了評論情感分類的實驗結果：
實驗結果表明，本工作提供了一個有效的學習兼具領域適應和情感感知能力的詞嵌入的方法，並提高了在句子層面和詞彙層面的情感分類任務的效能。