論文解讀 | 基於神經網路的知識推理

Paper_weekly發表於2018-03-08


640?wxfrom=5&wx_lazy=1


在碎片化閱讀充斥眼球的時代,越來越少的人會去關注每篇論文背後的探索和思考。


在這個欄目裡,你會快速 get 每篇精選論文的亮點和痛點,時刻緊跟 AI 前沿成果。


點選本文底部的「閱讀原文」即刻加入社群,檢視更多最新論文推薦。

這是 PaperDaily 的第 49 篇文章

本期推薦的論文筆記來自 PaperWeekly 社群使用者 @britin本文對基於 RNN 的從大規模知識庫中進行推理進行了精度和可操作性的改善,提出的模型使用單個 RNN 就可以在多種 relation types 之間進行推理。

如果你對本文工作感興趣,點選底部的閱讀原文即可檢視原論文。

關於作者:Britin,中科院物理學碩士,研究方向為自然語言處理和計算機視覺。


■ 論文 | Chains of Reasoning over Entities, Relations, and Text using Recurrent Neural Networks

■ 連結 | https://www.paperweekly.site/papers/1521

■ 原始碼 | https://rajarshd.github.io/ChainsofReasoning


論文動機


使用神經網路進行更為複雜的推理以增加 KB 中的條目正在引起廣泛關注,這麼做的一個重要原因是為了同時支援 look-up 型別的問答系統以及從 entity 和 relation 中間接推理到答案的問答系統


KB 通常是非常不完整的,推理可以完善那些缺失的資訊。見下圖:


640


已有的方法大多是基於 symbolic 和 logical 的推理系統,比如 Universal Schema,它學習 relation type 的向量表示,包括結構化 KB 中的以及自然語言文字中的關係表示,其中的 matrix completion 機制可以進行簡單的推理,但只能對單條 evidence 進行操作,比如從 microsoft-located-in-seattle 推理出 microsoft-HQ-in-seattle。


更高階的推理是從從句中得到包含三個或更多實體的 multi-hop 的知識庫圖路徑。比如可以從 Melinda–spouse–Bill–chairman–Microsoft–HQ-in–Seattle 得到 Melinda–lives-in–Seattle。


這種推理通常用 path ranking algorithm 進行。RNN 沿著任意長度的路徑組成了每條邊關係的 embeddings,輸出一個表示路徑兩端實體之間關係的向量表示。但是這些方法只能用於小型或人造資料庫上,並且對於許多情況下來說還是不準確不實際。 


本文提出的方法則可以對大型的多語義 KB 進行推理,本文對基於 RNN 的從大規模 KB 中進行推理進行了精度和可操作性的改善:


  • 之前的工作只推理了 relation,沒有推理組成路徑上節點的 entities,本文對關係型別,實體和實體型別進行了聯合學習和推理。


  • 本文使用了 neural attention 機制對多條路徑進行推理。


  • 之前的方法最大的問題是要為每一個需要預測的 relation-type 單獨訓練模型。而本文只訓練一個 RNN 來預測所有的 relation type。另外,由於訓練的 multi-task 特性,共享了 RNN 引數,精度也顯著提高了。


模型介紹

本文首先介紹了基本的 Path-RNN 的架構,本文的一切改進都是基於該模型的

Path-RNN 的輸入是兩個實體之間的路徑,輸出推理出的二者之間的新關係。通過將關係之間的連線用 RNN 表示來進行推理。路徑的表示是在處理完路徑中所有的關係之後由 RNN 的最後的隱狀態給出的。 

640

架構如圖所示,對每一條可能的路徑用一個 RNN 來表示,將改路徑每一個節點上的 entity 和連線的 relation 進行向量化後輸入一個 RNN 單元,整條路徑的最終向量表示就是 RNN 最後一個單元輸出的 Hidden state,將改路徑的向量表示和要預測的關係的向量表示求相似度,相似度最高的就是目標路徑。

這個模型的缺點是每一個 relation type 都要訓練一個新的模型,變數無法共享,數量巨大。另外只選擇相似度最高的那一個路徑可能會忽略掉其他路徑所隱含的資訊,還造成了計算浪費。

本文對這個模型做出的改進有:

  • 本文共享了 relation type 的表示以及 RNN 的 composition matrices,這樣同樣的訓練資料變數就大大減少了。訓練模型的損失函式用的是 negative log-likelihood。

  • 分別用 Top-k,average 和 LogSumExp 方法為每一條路徑的相似度評分加上權重,這樣就考慮了每一條路徑包含的資訊,而不僅僅是評分最高的那條。

實驗結果


本文在一個大型的 freebase 實體和關係資料集以及 clueweb 文字資料集上做了驗證。


和先前最好的結果相比,本文在 MAP 上提高了 25%。另外本文還單獨設計了一個驗證來驗證在同一個 RNN 中共享 strength 的效果,結果證明在訓練過程中一些出現頻率較小的關係也提高了 54% 的精度。


本文還在另一個資料集上做了驗證:chains of resoning in WordNet。和目前最好的結果相比,在平均分位數上的錯誤率減少了 84%。


640


640


文章評價


本文提出的模型使用單個 RNN 就可以在多種 relation types 之間進行推理。並且利用了多條可能路徑以及路徑間所有實體和關係的綜合資訊,這些資訊在之前的方法中都是忽略的,極大程度的提高了精度。但是由於資料的稀疏性,在處理較長的文字特徵時效能就會減弱。


本文由 AI 學術社群 PaperWeekly 精選推薦,社群目前已覆蓋自然語言處理、計算機視覺、人工智慧、機器學習、資料探勘和資訊檢索等研究方向,點選「閱讀原文」即刻加入社群!


640?


640?#榜 單 公 布 #


2017年度最值得讀的AI論文 | NLP篇 · 評選結果公佈

2017年度最值得讀的AI論文 | CV篇 · 評選結果公佈


  我是彩蛋 


解鎖新功能:熱門職位推薦!


PaperWeekly小程式升級啦


今日arXiv√猜你喜歡√熱門職位


找全職找實習都不是問題

 

 解鎖方式 

1. 識別下方二維碼開啟小程式

2. 用PaperWeekly社群賬號進行登陸

3. 登陸後即可解鎖所有功能


 職位釋出 

請新增小助手微信(pwbot01)進行諮詢

 

長按識別二維碼,使用小程式

*點選閱讀原文即可註冊


640?


           


關於PaperWeekly


PaperWeekly 是一個推薦、解讀、討論、報導人工智慧前沿論文成果的學術平臺。如果你研究或從事 AI 領域,歡迎在公眾號後臺點選「交流群」,小助手將把你帶入 PaperWeekly 的交流群裡。


640?

▽ 點選 | 閱讀原文 | 檢視原論文

相關文章