➊
#ACL2017 論文推薦#
AMR-to-text Generation with Synchronous Node Replacement Grammar
本文工作來自 PaperWeekly 群友 Linfeng Song。研究從 AMR 圖的生成含有對應語義的文字，該方法採用同步圖文法（Synchronous Node Replacement Grammar，源端是圖片段目標端是短語）同步構建 AMR 圖的 derivation 和譯文，訓練和解碼採用 log-linear 模型和 beamsearch 解碼，該方法也可以用於基於圖的機器翻譯上去，AMR 是一種基於有向圖圖的語義結構，對機器翻譯、資訊抽取、句子理解等任務有幫助。
論文連結：https://arxiv.org/abs/1702.00500v1
推薦人：大俊，PaperWeekly 首席客服
➋
#對話系統#
#CVAE#
#ACL2017#
Learning Discourse-level Diversity for Neural Dialog Models using Conditional Variational Autoencoders
本文工作來自 PaperWeekly 作者團隊的趙天成博士。Encoder-decoder 模型目前被廣泛應用到開域對話生成的任務上。但是目前標準的encoder-decoder 生成的回覆通常都是 generic and dull。為了解決這個問題，我們提出了一個全新的基於 conditional variational autoenocders (CVAE) 的對話生成模型。不同於以往的方法專注於改進 decoder 的解碼過程，我們的模型透過改進 encoder，讓 encoder 可以學習出下一個回覆在 utterance-level 的機率分佈。我們的貢獻包括 1.利用一個 utterance-level latent variable 來描述下一句對話回覆的機率分佈，從而即使 decoder 僅使用 greedy decoding，也可以得到 diverse responses 2. 改進了標準的 CVAE 模型，讓人可以利用先驗語言學知識來引導模型的訓練，得到了超過 baseline 的效能 3. 改進了 VAE/CVAE 用於文字生成的訓練 loss function，實驗顯示比之前的（Bowman 2015）裡提出的 training tricks 更加有效。
論文連結：https://arxiv.org/abs/1703.10960
推薦人：大俊，PaperWeekly 首席客服
➌
#對話系統#
#語料#
Frames: A Corpus for Adding Memory to Goal-Oriented Dialogue Systems
本文又是一個福利，工作來自 Maluuba。又貢獻了一個資料集給大家，一共 1369 段對話，平均每段對話 15 輪。
論文連結：https://arxiv.org/abs/1704.00057
資料集地址：http://datasets.maluuba.com/Frames
推薦人：大俊，PaperWeekly 首席客服
➍
Words Or Characters? Fine-Grained Gating For Reading Comprehension
本文來自卡耐基梅隆大學，在自然語言處理，如何對語言進行表徵是一個很重要的問題，目前主要有兩種表徵方法，word-level 的表徵和 character-level 的表徵，word-level 即最常用的詞嵌入向量，其優點是能夠較好的捕獲詞義（semantic）的相似資訊，character-level 是使用 RNN 或者 CNN 的隱狀態來進行表徵， 在詞的形態學資訊上表現較好（sub-word morphology，也就是時態，單複數結構等等），將這兩者的優點結合起來能夠更好的表徵語言，進而在 NLP 的各個任務中獲得較好的效果，但是目前結合這兩者的方法，主要是直接進行向量拼接，或者使用一個固定的門函式（gate function）來控制這兩者混合的比例，這些方法都各有其不足。本文提出一個細粒度的門函式來控制兩種表徵的混合比例，在每一個向量維上分別控制混合比例，從而達到改善了這個問題。進一步來說，文章認為，基於命令實體識別、詞性標註、詞頻等資訊，能夠使用一個神經層來控制在 word-level 和 charctor-level 的資訊流動，從而基於不同的詞，分別對兩種表徵的比重進行側重。 進一步在這個思想的基礎上，針對機器理解（reading comprehension）任務，文章提出一個細粒度的門控機制（fine-grained gating mechanism）來控制 document 和 query 之間的資訊互動，使用 query 來對 document 進行注意力（attention）分配，在 children book test 資料集和史丹佛問答資料集上，都取了 state of art 的結果。
論文連結：https://arxiv.org/abs/1611.01724v1
推薦人：於翮，北京航空航天大學（PaperWeekly arXiv組志願者）
➎
#GAN#
BEGAN: boundary equilibrium generative adversarial networks
本文作者提出一種 auto-encoder 結構的 GAN（類似 EBGAN），即將 discriminator 設計成 encoder，generator 設計成 decoder，而 loss 是基於 discriminator 的重構誤差。作者從實驗觀察的角度提出 real image 和 sample image 的重構 loss 近似服從高斯分佈，以此為依據設計了 D 和 G 的目標函式。作者提出的目標函式與 WGAN 相似，不同之處在於不用 k-lipschtz 的假定。
此外，作者提出了一個衡量生成樣本多樣性的超引數：生成樣本的 loss 的期望與真實樣本的 loss 的期望之比。它能夠均衡 D 和 G，從而穩定訓練過程。透過實驗發現這個超引數對 encoder 和 decoder 不均衡的情形也能有很好的指導作用。該引數越小表明生成樣本的多樣性和質量越低，引數越大表明多樣性和質量越高，它體現了 boundary equilibrium。
論文連結：https://arxiv.org/abs/1703.10717
程式碼連結：
https://github.com/carpedm20/BEGAN-pytorch
推薦人：洪佳鵬，北京大學（PaperWeekly arXiv 組志願者）
➏
#QA#
Reading Wikipedia to Answer Open-Domain Questions
本文是 Stanford 的博士生陳丹琦在 FAIR 實習期間的工作，發表在 ACL-17 上。藉助大規模開源的外部知識庫是突破機器閱讀和問答能力的關鍵。這個知識庫可以是結構化的知識圖譜，也可以是非結構話的文件。作者基於 500 萬+的 Wikipedia 文件，在SQuAD，WebQuestions 等幾個問答資料集上，做開放式的問答系統。作者提出的 DrQA 模型是由 Document Retriever 和 Document Reader 兩塊組成。Document Retriever 結合 TF-IDF 加權的詞袋向量和 Bigram 去表示每一個問題（Question），然後用這個表示（representation）去召回最相關的五篇文章（Article）。Document Reader 則借鑑最近在機器閱讀上表現很好的引入注意力的迴圈神經網路（AttentiveReader），用段落（Paragraph）和問題（Question）的表示訓練兩個分類器，預測答案的開始和結束位置。值得注意的是，在編碼段落中的詞時候，不止使用了詞向量（具體參考論文 3.2）。作者在 SQuAD 上測試提出的 Document Reader 模型，取得了在所有發表工作中最好的效果。在測試加入 Wikipedia 作為背景知識（context）的開放式問答系統的實驗上，為了得到包含（Paragraph, question, answer）這種形式的資料集，作者使用 Distantly Supervised 技術，在已有的四個資料集上，使用 Document Retriever 召回既跟 Question 重合度高，又包含 Answer 的 Paragraph，構造包含外部知識的問答資料集。在 Document Reader 上訓練和測試，透過不同資料集的遷移學習，有效的提高答案 exact-match 的準確率。
論文連結：https://arxiv.org/abs/1704.00051
推薦人：劉瑾萊，北京郵電大學（PaperWeekly arXiv小組志願者）
➐
#情感#
#對話系統#
Emotional Chatting Machine: Emotional Conversation Generation with Internal and External Memory
上下文的一致性是對話系統體現“智慧”的重要特徵，但一個真正的智慧體應該不僅僅是隻考慮了內容上的一致性，而也應該考慮情感的一致性，情感的理解和表達是更加體現“智慧”的表現。本文正是在內容一致性的基礎上改進了模型，考慮了情感的一致性。
論文連結：https://arxiv.org/abs/1704.01074
推薦人：大俊，PaperWeekly 首席客服
➑
#model-free#
Statistical Efficiency of Compositional Nonparametric Prediction
這篇文章提供了一種新的非參方法的框架，把 Additive model 和 Tensor Product 都包含在其中。Motivation 來自於 additive model 雖然簡單，但是現實中很少存在。具體的就是搭建了一種 Tree 模型，最底層代表了 weighted basis 然後中間的 node 代表加法或者乘法的運算。理論上透過 bound Rademacher 給了一個 rate。
論文連結：https://128.84.21.199/abs/1704.01896
推薦人：statmlben，香港城市大學（PaperWeekly arXiv小組志願者）