ACL 2016 在柏林洪堡大學召開（8.7-8.12）。作為該會議的黃金贊助商，微軟將有 20 多名研究人員出席該大會，參選論文 16 篇。論文集中了微軟近期關於自然語言處理和語音方面的大量研究，如「基於角色的神經對話模式」，這篇論文闡述了最先進的神經建模技術如何訓練「聽起來像」特殊人物的對話助理。這篇論文還揭示了這些技術如何允許角色調整其語言從而匹配使用者的語言行為，以及人類自然對話特有的一個微妙又至關重要的現象。我們貼出了除第 13 篇論文外（未公開）的15 篇論文的摘要，點選這裡下載打包的全部論文。
今年 8 月 7 日到 12 日，國際計算語言協會（ ACL ）年度會議在德國柏林的洪堡大學召開。 ACL 是關於自然語言處理（ NLP ）系統和計算語言學的頂級會議。作為黃金贊助商（ Gold sponsor ），微軟有 20 多位研究員出席 ACL 2016 。
微軟最近的研究工作主要專注於語言生成：將「聲音」傳送給機器，形成程式碼和結構化資料，這樣使用者就可以自然地，流暢地與他們的裝置對話，從而高效地合作，機器也因此成為了一個積極的可交談合作者。例如，今年被 ACL 收錄的其中一篇論文揭示瞭如何針對一張照片生成有道理的、常識性的問題；還有一篇論文探索瞭如何在自然語言和程式碼之間「做出翻譯」。
本次大會中微軟也展示了最新工作進展，這些工作旨在從人類自然發生的海量對話中訓練神經交流模型（ neural conversational models ），學習如何在會話中的每個點上從零開始生成聲音自然逼真的對話。隨著自然語言對話變成互動設計中日益重要的方向，這種資料驅動的方法——由微軟研究領頭——作為關鍵的研究領域正冉冉升起。一個重要的挑戰涉及到沉浸式遊戲/虛擬現實角色以及獨特的私人化助理，以致於它們動態生成的迴應聽上去就好像它們由特殊的、真實的智慧生產出來的。
作為關於 NLP 表徵學習的第一期 Workshop 的共同發起人之一，微軟將在這裡討論在「語義的向量空間模型，深度神經網路的含義和應用，以及針對 NLP 的譜方法（ spectral methods ）」方面的最新進展，還將探索未來的研究方向。
1.論文： 一種基於角色的神經對話模式（A Persona-Based Neural Conversation Model）
作者： Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao 和 Bill Dolan
摘要：我們提出了基於人物角色的模式，用於處理神經反應生成（ neural response generation ）中的說話者一致性問題。一個說話者模型在分散式嵌入中編碼角色，這個角色能撲捉個人特徵，比如背景資訊和說話風格。一個二進的說話者-接受者模型抓住兩名對話者的互動特性。我們的模型在困惑度和 BLUE 得分上都產生了定性的效能改進，超過基線序列到序列模型（ baseline sequence-to-sequence models ），在通過人類判斷來測量說話者一致性上也得到了相似的收穫。
2.論文：If-Then 句式的改進的語義解析器（Improved Semantic Parsers for If-Then Statements）
作者： I. Beltagy 和 Chris Quirk
摘要：數字個人助手正在變得更加普遍和有用。個人助手中主要的自然語言處理挑戰是機器理解：將自然語言使用者的命令翻譯成可執行的表達。這篇論文關注的是寫成 If - Then 句式的理解規則，但是該技術也應該適用於其他的語義分析任務。我們將理解看作結構預測並展示了使用傳統技術和神經網路模型的改進模型。我們也討論了改進一般化和降低過擬合的多種方法：從釋義、語法組合、特徵選擇和多系統整合中合成的訓練資料。這些技術的整合達到了一個新的最佳結果，精確度提升了 8% 。
3.論文：知識庫和文字中關係路徑的嵌入組合學習（Compositional Learning of Embeddings for Relation Paths in Knowledge Base and Text）
作者：Kristina Toutanova, Victoria Lin, Wen-tau Yih, Hoifung Poon 和 Chris Quirk
摘要：建模關係路徑已經在嵌入模型中為知識庫（ KB ）的完善做出了重要貢獻。但是，列舉出兩個實體間的路徑非常昂貴，而且現有的路徑大多都訴求於具有抽樣子集的逼近。當文字被 KB 關係聯合建模並用於為其中提到的事實提供直接證據時，這個問題尤其嚴重。本文中，我們提出了第一個準確的動態規劃演算法，這個演算法能讓有界長度的所有關係路徑有效結合，同時為組合路徑表示法中這些關係型別和中間節點建模。我們對這種方法的效率增益進行了理論分析。兩個資料集的實驗顯示，它解決了之前方法中的表示性限制，並提升了 KB 完善中的精確度。
4.論文：生成關於一張影象的自然問題（Generating Natural Questions about an Image）
作者：Nasrin Mostafazadeh, Ishan Misra, Jacob Devlin, Margaret Mitchell, Xiaodong He 和 Lucy Vanderwende
摘要：過去幾年裡，視覺和語言團隊中的研究爆發式增長，包括了從影象字幕到視訊轉錄，以及回答影象相關問題。這些任務已經聚焦於影象的文字描述。為了超越文字，我們選擇探索一張影象的問題通常是如何針對常識推理的，以及影象中物件誘發的抽象事件。在這篇論文中，我們介紹了視覺問題生成（VQG）的新任務。當展示給它一張影象時，該系統的任務是問出一個自然且相關的問題。我們提供了三個資料集，覆蓋了從以物件為中心到以事件為中心的多種影象，它們的訓練資料比到目前為止所提供的最先進的字幕系統還要更抽象。我們訓練並測試若干生成和檢索模型來解決 VQG 任務。評估結果顯示，雖然這樣的模型對多種影象問出了合理的問題，但是與人類問出的問題還有很大差距。人類的問題可以推動連線影象與常識知識和語用學的進一步工作。我們提出的任務給這個社群帶來了一個新挑戰，我們希望他們對探索視覺和語言之間更深的聯絡能有更多的興趣。
5.論文：帶有自然語言動作空間的深度強化學習（Deep Reinforcement Learning with a Natural Language Action Space）
作者：Ji He, Jianshu Chen, Xiaodong He, Jianfeng Gao, Lihong Li, Li Deng 和 Mari Ostendorf
摘要：這篇論文介紹了帶有深度神經網路的一個新的強化學習架構，該架構用於處理帶有自然語言特徵的狀態和動作空間，就像基於文字的遊戲一樣。它被稱為深層加固關聯網路（DRRN），表示帶有分開的嵌入向量的動作和狀態空間，並結合了一個互動功能來接近強化學習中的 Q- function。我們在現有的兩個流行的文字遊戲中評估了該 DRRN，結果顯示它的效能要優於其他深度 Q-learning 結構。被釋義的動作描述的實驗顯示，該模型正在提取意義而不是簡單地記憶文字字串。
6.論文：知識庫問答中的語義解析標註的價值（The Value of Semantic Parse Labeling for Knowledge Base Question Answering）
作者： Wen-tau Yih, Matthew Richardson, Chris Meek, Ming-Wei Chang 和 Jina Suh
摘要：我們證明了收集知識庫問題回答的語義分析標註的價值。具體有，（1）與之前的小規模資料集研究不同，我們的研究顯示，從標註的語義分析中學習，極大地提升了整體效能。與從答案中學習相比，它有5個點的收益。（2）我們的研究顯示，有一個適當的使用者介面就能獲取高精確度的語義分析，成本相當於或低於僅獲取答案，和（3）我們已經創造並分享了最大的語義分析標註資料集，以推進問題回答中的研究。
7.論文：帶有區域性訓練的詞嵌入的查詢擴充套件（Query Expansion with Locally-Trained Word Embeddings）
作者：Fernando Diaz, Bhaskar Mitra 和 Nick Craswell
摘要：在自然語言處理和機器學習社群中，連續的空間詞嵌入已經因為其建模術語相似性和其他關係的能力而獲得大量關注。我們研究了用於臨時資訊檢索的查詢擴充套件語境中術語關聯性的使用。我們證明了諸如詞 2vec 和 GloVe 這樣的詞嵌入在進行全域性訓練時，其表現低於語料庫，並查詢檢索任務的具體嵌入。這些結果表明，從全域性嵌入中獲益的其他任務或許也會從區域性嵌入中獲益。
8.論文：使用 Matrix Sketching 的可擴充套件的半監督分類查詢（Scalable Semi-Supervised Query Classification Using Matrix Sketching）
作者：Young-Bum Kim, Karl Stratos 和 Ruhi Sarikaya
摘要：現在使用超大規模的未標註文字需要可擴充套件的方案，用於語言處理中的表徵學習。例如，在本論文中，我們對使用者查詢意圖的分類感興趣。雖然我們的標註資料十分有限，但是我們獲得了幾乎無限量的無標註查詢，可以用來匯出有用的表徵：以主成分分析（PCA）為例。因為受到記憶體大小限制，即便在記憶體中儲存資料也是被禁止的，更不用說應用傳統的批處理演算法。在該研究中，我們應用了最近提出的 matrix sketching 演算法來避免可擴充套件性上的問題（Liberty，2013）。該演算法逼近一個指定記憶體限制內的資料，同時保留了 PCA 中需要的協方差結構。使用 matrix sketching 後，我們利用大量未標記的查詢極大地改進了使用者意圖分類的精確度。
9.論文：從使用者情感基調和使用者環境情感對比來推斷感知的人口統計（Inferring Perceived Demographics from User Emotional Tone and User-Environment Emotional Contrast）
作者：Svitlana Volkova 和 Yoram Bachrach
摘要：我們檢查了社交網路中的交流以研究使用者情緒對比（ emotional contrast ）——與鄰居相比，這些使用者表達不同情緒的傾向。我們的分析是基於大規模的 Twitter 資料集，涵蓋了來自美國和加拿大的 123,523 位使用者在 Twitter 上發的資訊。根據 Ekman 基本情緒理論，我們分析了這些使用者表達的情緒基調以及他們鄰居的不同情緒型別，並將這些區別與感知到的使用者人口統計學資料聯絡起來。我們證明了許多感知到的人口統計學特徵與使用者和他們鄰居之間的情緒對比存在關聯。不像其它僅僅依賴於使用者交流內容推斷使用者特徵的方法，我們探索了網路結構並證明了僅僅基於使用者和他們鄰居產生的情緒而精確預測一系列感知到的人口統計特徵是可能的。
10.論文：採用門控遞迴半馬爾可夫條件隨機場的分段序列建模（Segment-Level Sequence Modeling using Gated Recursive Semi-Markov Conditional Random Fields）
作者：Jingwei Zhuo, Jun Zhu, Yong Cao, Zaiqing Nie 和 Bo Zhang
摘要：在自然語言處理中，大多數序列標記任務需要用某種句法角色或句子的語義識別語義段。它們通常用條件隨機場（ Conditional Random Fields ，簡稱 CRFs ）來處理， CRFs 並不是直接根據詞級特徵進行詞級建模（ word-level modeling over word-level features ），因此不能充分利用段級（ segment-level ）資訊。半馬爾科夫條件隨機場（ Semi-Markov Conditional Random Fields ，簡稱 Semi-CRFs ）直接構建語義段模型，但是為 Semi-CRFs 提取段級特徵仍然是一個充滿挑戰的難題。這篇論文呈現了門控遞迴的 Semi-CRFs （簡稱 grSemi-CRFs ），這種語義段模型通過門控遞迴卷積神經網路直接且自動地學習段級特徵。我們在文字切分（ text chunking ）和命名實體識別（ named entity recognition ）方面的實驗表明， grSemi-CRFs 通常比其他神經網路表現得更出色。
11.論文：計算機解決數學應用題能有多好？大規模資料集建立和評估（How well do Computers Solve Math Word Problems? Large-Scale Dataset Construction and Evaluation）
作者：Danqing Huang, Shuming Shi, Chin-Yew Lin, Jian Yin 和 Wei-Ying Ma
摘要：最近幾個自動化解決數學應用題的系統已報導了頗有前景的成果。然而，用於評估的資料集在規模和多樣性上都有所侷限。在本篇論文中，我們構建了一個大規模資料集，比之前的大 9 倍之多，而且包含更多的問題型別。資料集中的問題會半自動化地從社群問題-回答（簡稱 CQA ）網頁上獲得。一個高階的支援向量機（簡稱 SVM ）模型被訓練自動從 CQA 使用者提供的答案文字中提取問題的答案，這明顯地減少了人們做註釋的成本。用新的資料集進行的實驗引出了有趣而令人驚訝的結果。
12.論文：通過耦合路徑排序的知識庫完善（Knowledge Base Completion via Coupled Path Ranking）
作者： Quan Wang, Jing Liu, Yuanfei Luo, Bin Wang 和 Chin-Yew Lin
摘要：知識庫（簡稱 KB ）經常是不完整的，這就讓完善知識庫成為必需。路徑排序演算法（ path ranking algorithm ，簡稱 PRA ）是完成這項任務的最有希望的方法。之前對 PRA 的研究一般是遵循單任務學習正規化，為它們及其訓練資料的每個獨立關係構建一個預測模型。它忽略了某些關係中有意義的聯絡，而且因為更低頻的聯絡而得不到足夠的訓練資料。這篇論文為 PRA 提出了一個新穎的多工學習框架，稱之為緊密耦合的 PRA （ CPRA ）。它首先設計一個凝聚式聚類策略，自動發現高度相關的關係，然後利用多工學習策略有效地結合對這種關係的預測。就像這樣， CPRA 將這些關係都考慮進來，使得內隱資料在它們之間分享。我們以 Freebase 創造的資料為基準，從經驗上評估 CPRA 。實驗結果表明， CPRA 能有效地確認出有邏輯關聯的叢集，它們彼此是高度相關的。就預測的準確率和模型的可解釋性而言，通過進一步結合這種關係， CPRA 明顯地優於 PRA 。
13.論文：帶有內隱和外顯語義的新聞引用推薦（News Citation Recommendation with Implicit and Explicit Semantics；未公開）
作者：Hao Peng, Jing Liu and Chin-Yew Lin
14.論文：RBPB：事件提取的基於正則化的模式平衡方法（RBPB: Regularization-Based Pattern Balancing Method for Event Extraction）
作者：Lei Sha, Jing Liu, Chin-Yew Lin, Sujian Li, Baobao Chang, Zhifang Sui
摘要：事件提取是一種挑戰性相當大的資訊提取任務，要從原文字中識別並分類事件的觸發和引數。在最近的工作中，當決定事件的型別（觸發分類）時，大多工作要麼僅是模式的（pattern-only），要麼僅是特徵（feature-only）的。然而，即使模式無法覆蓋一個事件所有的表徵，它仍是一個非常重要的特徵。另外，當識別並分類引數時，先前的工作忽略引數之間的關係，分別考慮每個候選引數。本論文提出了一個基於正則化的模式平衡方法（RBPB）。受到表徵學習過程的啟發，我們將觸發器嵌入，句子水平的嵌入和模式特徵都作為我們的觸發器分類特徵，以平衡模式和其他有用的特徵的影響。另外，RBPB 使用了一個正則化方法來利用引數之間的關係。實驗顯示，我們所提出方法的結果比目前最先進的方法要好。
15.論文：DocChat：一種使用非結構文件的聊天機器人引擎的資訊檢索方法（DocChat: An Information Retrieval Approach for Chatbot Engines Using Unstructured Documents）
作者： Zhao Yan, Nan Duan, Junwei Bao, Peng Chen, Ming Zhou, Zhoujun Li and Jianshe Zhou
摘要：大多現存的聊天機器人引擎被設計成基於現有的話語-回覆（或者問題-回覆）對來回答使用者的話語。在本論文中，我們呈現了 DocChat，一種新式的資訊檢索式聊天機器人引擎，它能夠利用結構混亂的文件，而不是 Q-R 對，來回複使用者的話。我們提出了針對不同粒度級別設計出的帶有特徵的排名模型學習，來直接測量使用者的話和回覆之間的相關性。我們在英語和中文中評估了我們所提出的方法：（i）對於英文，我們基於 WikiQA 和 QASent （兩個回覆語句選擇任務）來評估 DocChat，並將結果與最前沿的方法比較。我們觀察到了理想的改進和不錯的適應性。（ii）對於中文，我們將 DocChat 與小冰比較，一箇中國著名的聊天引擎，並行評估的結果顯示，DocChat 完美補充了以 Q-R 對作為主要回復源的聊天機器人引擎。
16.論文：用於機器翻譯的基於知識的語義嵌入（Knowledge-Based Semantic Embedding for Machine Translation）
作者：Chen Shi, Shujie Liu, Shuo Ren, Shi Feng, Mu Li, Ming Zhou, Xu Sun and Houfeng Wang
摘要：本論文中，在知識庫的幫助下，我們構建並規劃了一個語義空間，用來連線源語言與目標語言，並且我們將其應用到序列到序列框架中，從而提出了一個基於知識的語義嵌入（KBSE）方法。在我們的 KBSE 方法中，源句子首先被對映到一個基於知識的語義空間，然後使用一個保留內在含義的迴圈神經網路生成目標句子。我們做了電子商務資料和電影資料這兩種翻譯任務的實驗，其結果顯示，比起傳統 SMT 方法和目前的編碼-解碼方法，我們所提出的方法的表現要更加出色。
擴充套件閱讀：