機器閱讀理解 / 知識庫 / 深度學習 / 對話系統 / 神經機器翻譯 | 本週值得讀

Paper_weekly發表於2018-03-21
深度學習


640?wxfrom=5&wx_lazy=1


在碎片化閱讀充斥眼球的時代，越來越少的人會去關注每篇論文背後的探索和思考。


在這個欄目裡，你會快速 get 每篇精選論文的亮點和痛點，時刻緊跟 AI 前沿成果。


點選本文底部的「閱讀原文」即刻加入社群，檢視更多最新論文推薦。

這是 PaperDaily 的第 53 篇文章


640?wxfrom=5&wx_lazy=1

Fast and Accurate Reading Comprehension by Combining Self-Attention and Convolution

@RefluxNing 推薦

#Machine Reading Comprehension

本文是 CMU 和 Google Brain 發表於 ICLR 2018 的文章，論文改變了以往機器閱讀理解均使用 RNN 進行建模的習慣，使用卷積神經網路結合自注意力機制，完成機器閱讀理解任務。

其中作者假設，卷積神經網路可建模區域性結構資訊，而自注意力機制可建模全文互動（Interaction）關係，這兩點就足以完成機器閱讀理解任務。

論文連結

https://www.paperweekly.site/papers/1759

640?

Feudal Reinforcement Learning for Dialogue Management in Large Domains

@xcwill 推薦

#Dialog Systems

本文來自劍橋大學和 PolyAI，論文提出了一種新的強化學習方法來解決對話策略的優化問題。

論文連結

https://www.paperweekly.site/papers/1756


640?

Independently Recurrent Neural Network (IndRNN): Building A Longer and Deeper RNN

@Zsank 推薦

#Recurrent Neural Networks

本文使用 ReLU 等非飽和啟用函式使網路變得更具有魯棒性，可以處理很長的序列（超過 5000 個時間步），可以構建很深的網路（實驗中用了 21 層）。在各種任務中取得了比 LSTM 更好的效果。

論文連結

https://www.paperweekly.site/papers/1757

程式碼連結

https://github.com/batzner/indrnn



640?

Joint Training for Neural Machine Translation Models with Monolingual Data

@paperweekly 推薦

#Neural Machine Translation

本文提出的方法可以認為是從源語言到目標語言翻譯的學習與從目標語言到源語言翻譯的學習的結合。中英翻譯和英中翻譯都使用初始並行資料來訓練，在每次訓練的迭代過程中，中英翻譯系統將中文句子翻譯成英文句子，從而獲得新的句對，而該句對又可以反過來補充到英中翻譯系統的資料集中。

同理，這個過程也可以反向進行。這樣雙向融合不僅使得兩個系統的訓練資料集大大增加，而且準確率也大幅提高。

論文連結

https://www.paperweekly.site/papers/1750



640?

Attentive Recurrent Tensor Model for Community Question Answering

@Zsank 推薦

#Question Answering

社群問答有一個很主要的挑戰就是句子間詞彙與語義的鴻溝。本文使用了 phrase-level 和 token-level 兩個層次的 attention 來對句子中的詞賦予不同的權重，並參照 CNTN 模型用神經張量網路計算句子相似度的基礎上，引入額外特徵形成 3-way 互動張量相似度計算。

圍繞答案選擇、最佳答案選擇、答案觸發三個任務，論文提出的模型 RTM 取得了多個 state-of-art 效果。

論文連結

https://www.paperweekly.site/papers/1741



640?

Biased Importance Sampling for Deep Neural Network Training

@chlr1995 推薦

#Importance Sampling

Importance Sampling 在凸問題的隨機優化上已經得到了成功的應用。但是在 DNN 上的優化方面結合 Importance Sampling 存在困難，主要是缺乏有效的度量importance 的指標。 

本文提出了一個基於 loss 的 importance 度量指標，並且提出了一種利用小型模型的 loss 近似方法，避免了深度模型的大規模計算。經實驗表明，結合了 Importance Sampling 的訓練在速度上有很大的提高。

論文連結

https://www.paperweekly.site/papers/1758

程式碼連結

https://github.com/idiap/importance-sampling



640?

Question Answering on Knowledge Bases and Text using Universal Schema and Memory Networks

@guotong1988 推薦

#Knowledge Base

傳統 QA 問題的解決方法是從知識庫或者生文字中推測答案，本文將通用模式擴充套件到自然語言 QA 的應用當中，採用記憶網路來關注文字和 KB 相結合的大量事實。

論文連結

https://www.paperweekly.site/papers/1734

程式碼連結

https://github.com/rajarshd/TextKBQA



640?

Deliberation Networks: Sequence Generation Beyond One-Pass Decoding

@paperweekly 推薦

#Sequence Labeling

編碼器 - 解碼器框架在許多工中取得了可喜的進展，包括機器翻譯、文字摘要、QA、對話系統、影像標記等，但它還沒有涉及審議。

審議是人們日常生活中的一種常見行為，如閱讀新聞、撰寫論文/文章/書籍，在本文中，團隊將審議過程引入到編碼器 - 解碼器框架中，並提出用審議網路進行序列生成。

論文連結

https://www.paperweekly.site/papers/1749


本文由 AI 學術社群 PaperWeekly 精選推薦，社群目前已覆蓋自然語言處理、計算機視覺、人工智慧、機器學習、資料探勘和資訊檢索等研究方向，點選「閱讀原文」即刻加入社群！

640?


點選以下標題檢視往期推薦： 



640?


640?#榜 單 公 布 #


2017年度最值得讀的AI論文 | NLP篇 · 評選結果公佈

2017年度最值得讀的AI論文 | CV篇 · 評選結果公佈


我是彩蛋 


 解鎖新功能：熱門職位推薦！


PaperWeekly小程式升級啦


今日arXiv√猜你喜歡√熱門職位√


找全職找實習都不是問題

 

 解鎖方式 

1. 識別下方二維碼開啟小程式

2. 用PaperWeekly社群賬號進行登陸

3. 登陸後即可解鎖所有功能


 職位釋出 

請新增小助手微信（pwbot02）進行諮詢

 

長按識別二維碼，使用小程式

*點選閱讀原文即可註冊



640?




關於PaperWeekly


PaperWeekly 是一個推薦、解讀、討論、報導人工智慧前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號後臺點選「交流群」，小助手將把你帶入 PaperWeekly 的交流群裡。


640?


▽ 點選 | 閱讀原文 | 加入社群一起刷論文

相關文章