論文推薦:機器閱讀理解,文字摘要,Seq2Seq加速

PaperWeekly發表於2017-05-14

#Seq2Seq加速#


Sharp Models on Dull Hardware: Fast and Accurate Neural Machine Translation Decoding on the CPU


本文是一篇工程性比較強的工作,來自微軟研究院。解碼是在 CPU 上做,文中提供了 5 種加速 decoding 的方法,將速度提升了 4.4 倍,而且沒有影響準確度。用 seq2seq 做工程專案的同學可以看過來。

論文連結:http://cn.arxiv.org/abs/1705.01991

推薦人:大俊,PaperWeekly 首席客服

#Read Comprehension# 


Mnemonic Reader for Machine Comprehension


本文旨在解決目前做閱讀理解任務的端到端神經網路模型面臨的問題:1. 無法有效捕捉原文當中存在的長距離依賴;2. 使用對問題不敏感的 pointer 來預測答案範圍。因此本文提出 Mnemonic Reader,在兩個方面進行了改進:1. 引入了一個自對齊層來進一步捕捉原文當中的長距離依賴;2. 使用一個多輪迭代的對問題敏感的 pointing 機制來預測答案範圍。我們的 ensemble 模型在 SQuAD 資料集上取得了 73.67 的 ExactMatch 和 81.694 的 F1,目前排名第三。

SQuAD Leaderboard:

https://rajpurkar.github.io/SQuAD-explorer/

論文連結:https://arxiv.org/abs/1705.02798

推薦人:大俊,PaperWeekly 首席客服

#ACL2017#


#資料集#

#機器閱讀理解#

TriviaQA: A Large Scale Distantly Supervised Challenge Dataset for Reading Comprehension

TriviaQA is a reading comprehension dataset containing over 650K question-answer-evidence triples. TriviaQA includes 95K question-answer pairs authored by trivia enthusiasts and independently gathered evidence documents, six per question on average, that provide high quality distant supervision for answering the questions.

資料地址:http://nlp.cs.washington.edu/triviaqa/

論文連結:http://cn.arxiv.org/abs/1705.03551

推薦人:大俊,PaperWeekly 首席客服

#文字摘要# 


A Deep Reinforced Model for Abstractive Summarization


用 Intra Attention+Supervisd/Reinforcement 混合學習,在 CNN/Daily Mail 資料集的生成式文摘上取得了較已有最好成績 5.7 個 ROUGE 分的提升。工作來自 Metamind Socher 團隊。

官方部落格解讀:

https://metamind.io/research/your-tldr-by-an-ai-a-deep-reinforced-model-for-abstractive-summarization

論文連結:https://arxiv.org/abs/1705.04304

推薦人:孫靜遠,中國科學院(PaperWeekly arXiv組志願者)


#IJCAI 2017# 


Dynamic Compositional Neural Networks over Tree Structure


對文字序列進行語義合成是 NLP 中的重要問題。過去各種網路的提出(CNN,Recurrent NN, Recursive NN)本質上是對不同種合成函式的嘗試,而這種全域性引數共享的合成函式又很難捕捉到語義的豐富性,這篇文章提出一種新的角度,即用 meta network 去處理語義合成的多樣性問題,這種思路可以很容易遷移到其他 NLP 任務上。

論文連結:http://cn.arxiv.org/abs/1705.04153

推薦人:大俊,PaperWeekly 首席客服

相關文章