基於事理圖譜的文字推理

研究背景及意義

隨著深度學習的興起，基於深度學習的文字推理技術被廣泛關注。然而，在文字推理過程中如何讓機器掌握人類知識，並進行可解釋性推理是當前技術面臨的一大挑戰。例如，人類能輕易理解“吃過飯”後，就“不餓”了這樣的常識知識，而讓機器理解並掌握大量類似這樣的知識是一件極其困難的事情。在眾多型別的人類知識中，事理邏輯是一種非常重要且普遍存在的知識。

文字推理的很多工都依賴於對事理邏輯知識的深刻理解。在通用領域，以隱式消費意圖推理為例，只有讓機器知道“結婚”事件伴隨著後續一系列消費事件，例如“買房子”、“買汽車”和“去旅行”，才能在觀察到“結婚”事件的時候，準確地推理出使用者潛在的隱式消費意圖，進而向目標使用者做出精準的產品推薦。而在特定領域，如金融領域，股市一般伴隨著短期內隨機事件的小波動，以及長期內重大事件驅動的大波動。例如，近年來隨著人工智慧迎來發展高潮，以及“我國將人工智慧列為國家發展戰略”，科大訊飛等人工智慧企業的股價迎來了一波大漲。事件驅動的股市預測悄然興起。從金融文字中挖掘“糧食減產”導致“農產品價格上漲”，再導致“通脹”，進而導致“股市下跌”這樣的遠距離事件依賴，對於事件驅動的股市漲跌預測非常有價值。事理邏輯知識的挖掘與知識庫構建迫在眉睫，這將極大地推動文字推理技術的應用發展。

事件是人類社會的核心特徵之一，人們的社會活動往往是事件驅動的。事件之間在時間維度上相繼發生的演化規律和模式是一種十分有價值的知識，挖掘這種事理邏輯知識對認識人類行為和社會發展變化規律非常有意義。然而，當前無論是知識圖譜還是語義網路等知識庫的核心研究物件主體不是事件。儘管傳統知識圖譜在現代搜尋引擎中得到了廣泛應用，但是其聚焦於實體和實體之間的關係，缺乏對事理邏輯知識的挖掘。事理邏輯知識，包括事件之間的順承、因果、條件和上下位等關係，對於文字推理的多種任務具有非常巨大的價值。為了揭示事件的演化規律和發展模式，我們提出了事理圖譜(Eventic Graph, EG)的概念，旨在將文字中對事件及其關係的描述抽取並抽象出來，構建成一個有向圖形式的事理知識庫。 

事理圖譜的定義

事理圖譜是一個描述事件之間演化規律和模式的事理邏輯知識庫。結構上，事理圖譜是一個有向圖，其中節點代表事件，有向邊代表事件之間的順承、因果、條件和上下位等事理邏輯關係。

事理圖譜中事件的定義與表示

理論上，事理圖譜中的事件是具有一定抽象程度的泛化事件，具體可以表示為抽象、語義完備的謂詞短語或句子，或可變長度的、結構化的（主體，事件詞，客體）多元組，元組中必須至少包含一個事件詞標誌事件的發生，例如“跑步”；而事件的主體和客體都可以在不同的應用場景下被省略，例如“（元首，出訪）”可以省略事件的客體，“（購買，機票）”可以省略事件的主體。一般情況下，事件的抽象或泛化程度與該事件發生的場景緊密關聯，脫離了具體的場景，一個單獨的事件可能變得過度抽象而難以理解。例如，在具體的場景下，“吃火鍋”“看電影”“去機場”“地震” 是合理的事件表達；“做事情”“吃”等事件由於過度抽象，屬於不合理或不完整的事件表達。

事理圖譜中的事件關係型別

根據對大規模文字資料進行統計，現實世界中有四種事理邏輯關係所佔比重較大，也是事理圖譜中主要關注的事理邏輯關係，包括事件之間的順承關係、因果關係、條件關係和上下位關係。

順承關係  是指兩個事件在時間上相繼發生的偏序關係。事理圖譜中的順承關係相對比較簡單，只需要保證前序事件a在後序事件b之前發生即可，不用考慮哪個事件先結束。事實上，只要a事件的起始時間點早於b事件的起始時間點，那麼它們之間就有可能形成順承關係，而它們的結束時間點的相對關係可以是任意的。兩個前後順承的事件之間存在一個介於0到1之間的轉移機率，表示從一個事件按順承關係演化到下一事件的置信度。

因果關係  是指兩個事件之間，前一事件（原因）的發生導致後一事件（結果）的發生。因果關係滿足原因事件在前，結果事件在後的時間上的偏序關係，因此在一定意義上，可以認為因果關係是順承關係的子集。因果事件對之間存在一個介於0到1之間的因果強度值，表示該因果關係成立的置信度。

條件關係  是指前一個事件是後一個事件發生的條件。條件關係屬於思想中命題的某種邏輯關係，因果關係屬於對客觀事實的某種認識。條件關係可以理解為“理由”，是前提與結論或論據與論點的內在聯絡，是關於邏輯的，而因果關係則可以理解為“原因”，是關於事實的，本質上講“原因≠理由”。舉例來說，“如果買票的人多，那麼電影好看”這一條件是成立的，而“因為買票的人多，所以電影好看”這一因果是不成立的。

上下位關係  事件之間的上下位關係有兩種：名詞性上下位關係和動詞性上下位關係。例如，事件“食品價格上漲”與“蔬菜價格上漲”互為名詞性上下位關係；事件“殺害”與“刺殺”互為動詞性上下位關係。需要注意的是，上下位關係一般是確定性的知識，因此無須類比順承或者因果關係，給上下位關係賦值一個0到1之間的常數來表示其置信度。

事理圖譜與知識圖譜的聯絡

“知識圖譜”這一術語可以有兩層含義。如果認為“知識圖譜”表示廣義上的知識庫，是一種用以儲存知識的本體，那麼“事理圖譜”則是一種儲存事理邏輯關係的“知識圖譜”；如果認為“知識圖譜”特指狹義上現階段以谷歌、百度等為代表所構建的以實體為中心、用於提升使用者搜尋體驗的知識庫，那麼“事理圖譜”便是與“知識圖譜”相併列的一種新型常識知識庫。

如表1所示，事理圖譜與知識圖譜的區別與聯絡可以從研究物件、組織形式、主要知識形式和知識的確定性四個方面進行研究。事理圖譜以謂詞性事件為核心研究物件，有向邊表示事理邏輯關係，即順承、因果、條件和上下位等；邊上標註機率資訊說明事理圖譜是一種事件間相繼發生可能性的刻畫，不是確定性關係。而知識圖譜以體詞性實體為核心研究物件，實體屬性以及實體間關係種類往往成千上萬。知識圖譜以客觀真實性為目標，某一條屬性或關係要麼成立，要麼不成立。

近年來，越來越多的研究工作在文字推理相關的任務中透過引入外部知識來提升相關任務的效能。例如，在閱讀理解和問答系統等任務中引入知識圖譜幫助更好地表示文字語義資訊，進而提升閱讀理解和問答系統的效能。然而，這些典型的任務主要引入的是關於實體的關係和屬性知識。對於一些依賴事理邏輯知識（例如，事件的因果和順承關係）的文字推理任務來說，事理圖譜將會發揮更大的作用。知識驅動的文字推理可以借鑑認知科學中的雙通道理論。在人腦的認知系統中存在兩個系統：系統1和系統2。系統1是一個直覺系統，它可以透過人對相關資訊的直覺匹配尋找答案，這個系統快速而簡單；而系統2是一個分析系統，它需要透過一定的推理、邏輯找到答案。系統1可以基於事理圖譜來實現，在此基礎上可以進行相關資訊的匹配和擴充套件；而系統2可以基於一個圖神經網路來實現，在圖神經網路中可以做一定的推理和決策。下文將以指令碼事件預測為例，介紹事理知識如何幫助文字推理任務。

基於敘事事理圖譜的指令碼事件預測

指令碼是人工智慧領域的一個重要概念，提出於20世紀70年代^[1]，當時的研究方法是基於專家的人工知識工程。直到2008年，Chambers和Jurafsky^[2]提出了基於指代消解技術利用自動化的方法從大規模語料中自動抽取指令碼事件鏈條，並提出了經典的挖詞填空式的評估標準來評估指令碼事件推斷模型，這種思路被稱為統計指令碼學習。這一工作引領了一系列後續的統計指令碼學習研究工作，其中Granroth-Wilding和Clark的工作^[3]對該領域的研究起到了重要的推動作用。Granroth-Wilding和Clark提出了多選項完形填空(Multiple Choice Narrative Cloze，MCNC)的評估方法（如圖1所示）：給定一個指令碼事件上下文和5個候選後續事件，推理模型需要從中準確地挑選出唯一正確的那個後續事件。

前人在指令碼事件預測任務上應用的典型方法包括基於事件對的PMI^[2]和EventComp^[3]，以及基於事件鏈條的PairLSTM^[4]。儘管這些方法取得了一定的成功，但是事件之間豐富的連線資訊仍沒有被充分利用。為了更好地利用事件之間的稠密連線資訊，李忠陽等人^[5]提出構建一個敘事事理圖譜，然後在該圖譜上進行網路表示學習，進一步預測後續事件。

基於敘事事理圖譜進行事件預測的主要動機如圖2所示，給定事件上下文A(enter)、B(order)、C(serve)，推理模型需要從D(eat)和E(talk)中挑選出正確的後續事件。其中，D(eat)是正確的後續事件，而E(talk)是一個隨機挑選的高頻混淆事件。基於事件對和事件鏈的方法很容易挑選出錯誤的E(talk)事件，因為圖2(b)中的事件鏈條顯示C和E的關聯性比C和D的關聯性更強。然而，基於圖2(b)中的鏈條構建圖2(c)中的事件網路後，可以發現B、C和D形成了一個強連通分量。如果能夠學習到B、C和D形成的這種強連線圖結構資訊，則推理模型更容易預測出正確的後續事件D。

有了一個敘事事理圖譜之後，為了解決大規模圖結構上的推理問題，李忠陽等人^[5]提出了一個可擴充套件的圖神經網路模型(Scaled Graph Neural Network，SGNN)在該事理圖譜上進行網路表示學習。該方法以門控圖神經網路(Gated Graph Neural Networks，GGNN)^[6]模型為基礎。重點解決其不能直接用於大規模敘事事理圖譜圖結構的問題。SGNN每次只在一個小規模相關子圖上進行計算，透過此訓練將GGNN擴充套件到大規模有向有環加權圖上。該模型經過修改也可以應用於其他網路表示學習任務中。

SGNN模型框架如圖3所示。圖3(a)和圖3(b)可以看成系統1的資訊匹配和擴充套件的過程，圖3(c)則是進行推理和決策的過程。具體而言，圖3(a)是構建好的敘事事理圖譜，SGNN每次從中抽取出待推理問題相關的一個子圖，如圖3(b)所示，然後將其送入圖3(c)的GGNN模型中，學習並更新該子圖上的事件表示。具體地，每個子圖包括一個故事上下文和所有候選事件節點，以及這些節點之間的有向邊。在更新事件表示的過程中SGNN充分學習到了事理圖譜的圖結構資訊，進而可以更好地幫助預測後續事件的發生。

本文重點介紹了事理圖譜相關的概念和定義，並介紹了事理圖譜在文字推理任務上的應用。知識圖譜已被證明可以有效地幫助解決很多文字推理問題。從現在事理圖譜的發展來看，事理圖譜有望解決的是涉及複雜事理邏輯知識的文字推理任務。事理圖譜中記錄的大量因果和順承邏輯可以有效地幫助推理模型按照人類認知過程進行決策，給出詳細的推理路徑來解釋最終的推理結果。同時，事理圖譜還可以與垂直領域深度結合，例如金融、司法、政治等，與領域專家知識形成互動，打造下一代基於事理知識的認知推理引擎，是事理圖譜一個重要的發展方向。相對於知識圖譜而言，事理圖譜還是一個新興概念，在構建技術以及應用技術上都還處於發展階段。這也提供了大量的研究機遇，不同領域的學者可以在事理圖譜方向做出獨具特色的研究工作，共同推動事理圖譜在自然語言處理方向的發展，有力提升文字推理系統的可解釋性。

特別宣告：中國計算機學會(CCF)擁有《中國計算機學會通訊》(CCCF)所刊登內容的所有版權，未經CCF允許，不得轉載本刊文字及照片，否則被視為侵權。對於侵權行為，CCF將追究其法律責任

[1] Schank R C, Abelson R P. Scripts, Plans, Goals, and Understanding: An Inquiry into Human Knowledge Structures[M]. Psychology Press.1977.

[2] Chambers N, Jurafsky D. Unsupervised learning of narrative event chains[C]// Proceedings of the 46th Annual Meeting of the Association for Computational Linguistic. 2008: 789-797.

[3] Granroth-Wilding M, Clark S. What happens next? event prediction using a com-positional neural network model[C]// AAAI'16: Proceedings of the Thirtieth AAAI Conference on Artificial Intelligence. AAAI Press, 2016: 2727-2733.

[4] Wang Z, Zhang Y, Chang C-Y. Integrating order information and event relation for script event prediction [C] // Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing. 2017:57-67.

[5] Li Z, Ding X, Liu T. Constructing narrative event evolutionary graph for script event prediction [C/OL] // IJCAI'18: Proceedings of the 27th International Joint Conference on Artificial Intelligence. AAAI Press, 2018: 4201–4207. arXiv preprint arXiv: 1805.05081.

[6] Li Y, Tarlow D, Brockschmidt M, et al. Gated graph sequence neural networks [J/OL]. Computer Science, 2015. arXiv preprint arXiv:1511.05493.