©原創作者 | 朱林
01 介紹
一個普通的知識圖譜只擁有某一時刻的靜態事實，常見表示為圖的形式，如圖1所示，包含了實體e（圓）及其關係r（箭頭）。
圖1 知識圖譜示意圖
目前快速增長的資料往往表現出複雜的時間動態特性，可以描述為時序知識圖譜（Temporal Knowledge Graphs, TKG），其是在知識圖譜的基礎上加上了時間資訊t。
TKG已經廣泛運用於許多不同的領域，具有代表性的TKG資料集包括全球事件、語言和語氣資料庫（Global Database of Events, Language, and Tone, GDELT）和綜合危機預警系統（Integrated Crisis Early Warning System, ICEWS）等等。
圖2展示了ICEWS系統的一個外交活動記錄子圖。
圖2 ICEWS外交活動記錄子圖
TKG的預測問題是在已知過去的歷史線索資訊（實體及關係在時間上的序列）下推斷未來某一潛在事實或事件。
那人類是如何預測未來事件的呢？根據心理學著名的雙重過程理論，人類首先是搜尋海量記憶，直觀地找到一些相關的歷史資訊（即線索）。
圖3 受人類認知啟發的推理過程示意圖關係
如圖3左側所示，人們需要根據之前線索預測2020年12月23日COVID-19在哪裡出現新病例，可以描述為回答查詢: (COVID-19, New medical case occur, ?, 2020-12-23)中的?。
其中，找到至關重要的線索有：
1）與查詢有相同關係的一跳（1-hop）路徑（去除時間資訊後直接關聯實體和關係）。例如(COVID-19，New medical case occur, Shop)；
2）與查詢有不同關係的一跳路徑，例如(COVID-19, New suspected case occur, Bank)；
3）二跳路徑，例如(COVID-19, Diagnose-1, The man, Go to, Police station)。其中Diagnose-1表示Diagnose反關係。
人們從他們的記憶中回憶起這些線索，並給出一些直觀的候選答案。然後，人們通過深入挖掘線索的時間資訊，進行細緻的推理過程，得到準確的答案。
如圖3右側所示，該男子比確診COVID-19的時間早了兩個多月去派出所，這表明派出所可能不是答案。所以得出答案為商店。
現有模型主要關注上述第二個過程，但輕視了第一個過程。因此，本文作者提出CluSTeR模型，以兩階段的方式來預測未來，包括線索搜尋（Clue Searching）和時序推理（Temporal Reasoning）。
具體而言，線上索搜尋階段，CluSTeR將線索搜尋過程形式化為馬爾可夫決策過程（MDP）並通過學習Beam Search策略來求解。
在時序推理階段，CluSTeR將在前一階段找到的線索重新組織成一系列圖，然後使用圖卷積網路（GCN）和門控迴圈單元（GRU）從圖中推斷出準確的答案。
在四個資料集上的實驗證明了CluSTeR模型與目前最先進的方法相比有巨大優勢。此外，CluSTeR模型發現的線索可以進一步為推理結果提供可解釋性。
02 CluSTeR模型
符號定義
模型概述
圖4 CluSTeR模型的說明圖
如圖所示，該模型由兩個階段組成，線索搜尋和時序推理。具體而言，第一階段主要側重於在時序限制下搜尋與給定查詢相關的組合語義資訊的線索路徑。
然後，提供線索路徑和隨之生成的候選實體用於第二階段的推理。
第二階段主要側重於對線索事實之間的時序資訊進行建模，並得到最終結果。
在CluSTeR模型中，這兩個階段在訓練階段相互作用，在推斷階段共同決定最終答案。
第一階段：線索搜尋
強化學習系統
作者將第一階段視為一個順序決策問題，由強化學習系統解決。
作者的強化學習系統採用的是馬爾可夫決策過程（MDP），這是一個從Agent和Environment之間的互動中學習以找到B條有希望線索路徑的框架。由以下部分組成：
語義策略網路
Randomized Beam Search
在TKG的場景中，一個事實的發生可能是由多種因素造成的。因此，預測需要多條線索路徑。此外，第一階段的候選應該儘可能多地找到正確的答案。
因此，作者採用Randomized Beam Search作為Agent的動作取樣策略，它按順序向Beam Search注入隨機噪聲增加Agent的探索能力。
訓練時通過最大化訓練集中所有查詢的預期獎勵來訓練Beam Search策略網路，如以下公式所示：
第二階段：時序推理
為了更深入地瞭解不同時間戳的線索事實之間的時間資訊以及併發線索事實之間的結構資訊，第二階段將所有線索事實重組為一系列圖
其中每個
是一個多關係圖，
由時間戳
處的線索事實組成。
作者使用w層RGCN進行建模,
並將
的串聯
（第二階段中
的嵌入）送入GRU，
GRU的最終輸出，表示為
，
被送入一個用
引數化的MLP解碼器，
以獲得所有實體的最終分數，即：
其中
是sigmoid啟用函式。
最後，作者對候選實體重新排序得到結果。
訓練時，作者使用交叉熵定義目標函式，
如以下公式所示：
03 實驗
推理結果
表1 與靜態模型（上）和時序模型（下）相比，TKG推理的實驗結果（百分比）
TKG推理的結果如表1所示。CluSTeR在所有ICEWS資料集上的表現始終優於基線。特別是在ICEWS14上，CluSTeR甚至在最佳基線上各個指標上實現了巨大的改進。
具體分析來看，CluSTeR顯著優於靜態模型是因為它捕獲了一些重要歷史的時間資訊。而效能明顯優於那些時序模型，則是因為它專注於更重要的線索，對更長的歷史線索進行建模，採用了強化學習以找到更明確可靠的線索。
消融研究
表2 CluSTeR的不同變體在所有資料集上的結果（百分比）
表2顯示消融研究的結果，前兩行展示了僅使用第一階段模型的結果，其中最大步長I分別設定為1和2。
可以觀察到，僅使用第一階段時結果會變差，因為忽略了事實之間的時間資訊。
第三行顯示了僅使用第二階段提取的一跳重複線索作為輸入的結果，所有ICEWS資料集的結果都會變差，這表明僅重複線索不足以進行預測。
對於GDELT，只有第二階段達到了最好的結果，這是因為在第二階段中只使用最直接的重複線索可以減輕抽象概念產生噪聲的影響。
04 結論
在本篇論文中，作者從人類認知的角度提出了一個兩階段模型，命名為CluSTeR，用於TKG推理。
CluSTeR模型由基於RL的線索搜尋階段和基於GCN的時序推理階段組成。
在第一階段，CluSTeR從歷史中找到可靠的線索路徑，並通過RL生成直觀的候選實體。
第二階段，以找到的線索路徑為輸入，將線索路徑匯出的線索事實重組為一系列圖，並對其進行推導得到答案。
通過這兩個階段，該模型在TKG推理上表現出巨大的優勢。
私信我領取目標檢測與R-CNN/資料分析的應用/電商資料分析/資料分析在醫療領域的應用/NLP學員專案展示/中文NLP的介紹與實際應用/NLP系列直播課/NLP前沿模型訓練營等乾貨學習資源。