編者按:問答(QA)任務是自然語言理解領域中一個基本且重要的課題,目前通常會使用預訓練語言模型以及圖神經網路等方法對問答進行推理。GNN 模組在推理中到底發揮了什麼作用?這個問題需要科研人員做進一步深入探究。為此,微軟亞洲研究院和佐治亞理工的研究員們剖析了最前沿的相關方法,並且發現一種極其簡單、高效的圖神經計數器就能在主流的知識問答資料集中取得更好的效果。
長期以來,問答(QA)問題都是人工智慧和自然語言處理領域中一個基本且重要的課題,層出不窮的研究工作都試圖賦予問答系統具有人類水平的推理能力。然而,人類的推理過程是極為複雜的,為了接近這樣複雜的推理,目前最前沿的方法一般會使用預訓練的語言模型(LM)來獲取和利用其隱含的知識,再輔以精心設計的圖神經網路(GNN)來對知識圖譜進行推理。但是關於 GNN 模組在這些推理中到底發揮了哪些功能,仍需要進一步深入研究。
為此,微軟亞洲研究院和佐治亞理工的研究員們剖析了最前沿的相關方法,並且發現一種極其簡單、高效的圖神經計數器就能在主流的知識問答資料集中取得更好的效果。同時,研究員們還揭示了當前基於知識推理的 GNN 模組很有可能只是在完成簡單的推理功能如計數。(點選閱讀原文,檢視論文)
(論文連結:https://arxiv.org/abs/2110.03192)
知識的獲取和推理是問答(QA)任務的核心, 而這些知識被隱式編碼於預訓練語言模型(LM)或者顯式儲存在結構化的知識圖譜(KG)裡。當前的 LM 在預訓練過程中都會使用大規模的語料庫,其中蘊含極其豐富的知識,這就使得 LM 稍加微調(finetune)就可以在各種 QA 資料集上取得不錯的表現。
但是,LM 更依賴於共現(co-occurrance),這在處理推理問題時捉襟見肘,並缺乏可解釋性。而與之互補的 KG 儘管需要人工整理且規模受限,但它可以直接顯示儲存特定的資訊和關係,從而具備可解釋性。
如何在 QA 裡將二者結合起來揚長避短是近年來的熱點話題,最前沿的工作大多采用了兩個步驟來處理知識圖譜:
1. Schema graph grounding。在知識圖譜裡檢索與 QA 文字提及的實體相關聯的子圖,這個子圖包含帶有概念文字的節點和代表關係的邊以及鄰接矩陣。
2. 圖建模推理(Graph modeling for inference)。用設計精巧的 GNN 模組對這個子圖進行建模推理。
這裡的 GNN 模組通常會設計得比較複雜,比如 KagNet 用了 GCN-LSTM-HPA 即基於路徑的分層注意力機制(HPA)來耦合 GCN 與 LSTM,從而對基於路徑的關係圖進行表徵;再如 QA-GNN 則在以 GAT 網路為主體的同時,用 LM 將 QA 文字編碼到圖中,成為一個單獨的節點,從而與圖中其它概念和關係進行聯合推理。
隨著 QA 系統變得越來越複雜,研究員們也不得不進一步思考一些基本問題:這些 GNN 模型是不夠複雜還是過於複雜了?它們究竟在推理中扮演了哪些關鍵的角色?
為了回答這些問題,研究員們首先分析了現在最先進的基於 GNN 的 QA 系統及其推理能力。基於發現,研究員們設計了一種圖計數網路。這個網路不光簡單高效,而且在 CommonsenseQA 和 OpenBookQA 這兩個基於推理的主流資料集上都達到了更優的效果。
(圖 1 :研究員們分析發現當前 GNN 在 QA 中扮演的關鍵角色是對邊進行計數,於是便設計了一種高效且具有解釋性的圖計數模組來對 QA 進行推理。)
而為了分析 QA 裡最前沿的基於 GNN 對的系統,研究員們則用 SparseVD 剪枝方法對 GNN 各個子單元先進行剪枝訓練,然後,在不損失精度的前提下,對各層保留的稀疏率進行統計,以判斷各子模組的重要性及功能。如圖2所示,通常檢索得到的 KG 子圖會被預處理成 Node Embedding, Edge Embedding 和鄰接矩陣,相關分數等部分則作為 GNN 的輸入。研究員們通過分析發現,初始的 Node Embedding 和相關分數是不必要的,相關層的稀疏率幾乎可以被剪枝到零,即這些相關層可以直接去掉。而 Edge Embedding 相關層更難被剪枝,可見其對當前場景下的推理非常重要。對於 GAT 裡的 message passing 層,通過觀察可以得知,這些層的稀疏率都比較低,尤其是前幾層的 query 和 key 層已經接近於零,即這些層有過引數化的趨勢,並且注意力機制幾乎退化為線性變換。
(圖 2:研究員們用剪枝方法 SparseVD 作為工具對 QA 裡的 GNN 各個模組進行分析,發現邊的資訊相關層極為重要,而其它很多層存在過引數化的現象。)
基於分析結論,研究員們設計了一個極其簡單且高效的基於計數的Graph Soft Counter(GSC)。如圖3所示,相較於其他主流的 GNN 如 GAT,GSC 只有兩個基本部件:邊編碼器(Edge encoder)和圖計數層(Graph Soft Counter Layer),並且節點和邊上的隱層維度也減少到1,這意味著在途中流動的全是單個的數字,可以將它們解釋為邊和節點的重要性分數。亦如圖4的演算法一所示,GSC 極度簡化 massage passing 的過程為最基本的兩個操作即 propagation 和 aggregation,從而將這些重要性分數加總到 QA context 中心節點,並作為選項的分數進行輸出。
(圖 3:GSC 層交替更新邊和節點上的計數分數)
(圖 4:演算法一:將邊資訊進行編碼後,GSC 層執行 message passing 將分數彙總到中心節點即為圖分)
值得一提的是,GSC 層內部是完全無引數的,這也使得它非常高效。如表1所示,GSC 的可學習引數量少於其它 GNN 模組的百分之一,並且由於沒有使用初始的Node Embedding,GSC 的模型儲存大小更是小了五個數量級。再如表2所示,GSC 在時間和空間複雜度上也都極其高效。
(表 1:GSC 僅使用了鄰接矩陣和邊/節點型別資訊,且引數極少)
(表 2:GSC 在時間和空間複雜度上都極其高效)
除了簡單高效,GSC 的表現也很突出。研究員們在 CommonsenseQA 和 OpenBookQA 這兩個基於推理的主流資料集上進行了實驗。論文中提出的基線既有未使用 KG 的 LM 本身,也有其它使用 GNN 來處理 KG 的其他前沿方法。如表3~5所示,GSC 方法在兩個資料集上都佔有優勢,並且在OpenBookQA 官方排行榜上位居第一,甚至超過了 UnifiedQA(11B)這個擁有110億引數的巨無霸模型。
(表 3:GSC 在 CommonsenseQA 資料集上優於其它基於 GNN 的方法)
(表 4:GSC 在 OpenBookQA 資料集上優於其它基於 GNN 的方法)
(表 5:GSC 在 OpenBookQA 官方排行榜上排名第一,甚至超過了 UnifiedQA)
本篇論文的分析和提出的方法,揭示了當前複雜的基於 GNN 的 QA 系統很可能只是在執行一些基礎的推理功能比如計數這一現象。如何打造一個面面俱到的 QA 系統以達到人類的推理水平仍是一個丞待解決的巨集大命題。
這裡有更多微軟官方學習資料和技術文件,掃碼獲取免費版!
內容將會不定期更新哦!