ACL 2019開源論文 | 基於Attention的知識圖譜關係預測

背景知識補充 

知識圖譜可以表示為 ζ=(ϵ,R)，其中 ϵ 和 R 分別表示集合中的實體（結點）和關係（邊）。對於三元組可以表示兩個實體節點之間存在邊 r。嵌入模型試圖學習實體、關係以及得分函式的有效表示，以達到當給定一個三元組作為輸入時，得分函式 f(t) 可以給出 t 是真實三元組的概率。 

圖注意力神經網路（GATs） 

圖注意力神經網路 （GANs）不同於圖卷積神經網路（GCNs）將所有鄰居實體的資訊賦予相同權重的策略，採用了按照鄰居實體結點對給定實體結點的不同重要程度分配不同權重的策略。表示該神經網路中一層結點中的輸入特徵集合。該層生成的變換後的特徵向量為，其中和分別表示實體的輸入嵌入向量與輸出嵌入向量，N 表示實體（結點）的個數。單獨的 GAT 層可以描述為下述公式：

其中表示知識圖譜中邊的注意力值，W 是一個可以將輸入特徵對映到更高維的輸出特徵空間中的引數化的線性轉化矩陣，a 是所選擇的注意力函式。

每個邊的注意力值表示邊的特徵對源結點的重要程度。此處相對注意力值通過對鄰居集合中得出的所有注意力值進行 softmax 運算得出。公式（2）展示了一個輸出層。

GAT 運用多頭注意力來穩定學習過程。連線 K 個注意頭的多頭注意過程如公式（3）所示：

其中 || 表示連結方式，σ 表示任意的非線性函式，表示由第 k 個注意力機制計算的邊的歸一化係數，表示第 k 個注意力機制對應的線性轉化矩陣。為達到多頭注意的目的，在最終層的輸出嵌入向量是通過計算平均值得出的而不是採用連線操作得出的。如公式（4）所示：

關係十分重要

雖然 GAT 取得了成功，但是由於忽略了知識圖譜構成中不可或缺的關係（邊）上所具有的特徵，所以 GATs 方法並不適用於知識圖譜。在知識圖譜中，實體依據與它們相連的關係在三元組中具有不同的作用。因此作者提出了一種將關係與相鄰節點特徵相結合的新型方法構建潛入模型。據此，定義了一個單獨的注意層，它是構成本文中提出的模型的構建單元。與 GAT 類似，本文中的框架對注意力機制的特定選擇是不可知的。

本文提出的模型中的每一層都將兩個嵌入矩陣作為輸入。實體嵌入矩陣用矩陣來表示，其中第 i 行表示實體的嵌入向量，表示實體總數，T 表示每個實體嵌入向量的特徵維數。用一個相同結構的矩陣來表示關係的嵌入向量矩陣。然後該層輸出兩個對應的嵌入矩陣和。

為獲得實體的新的嵌入向量，學習了一種與相連的每一個三元組的表示。如公式（5）所示，通過對實體和關係特徵向量的連線進行線性變換來學習這些嵌入，這些特徵向量對應於一個特定的三元組。

其中是一個三元組的一個向量表示。向量、與分別是實體、和關係的嵌入向量。除此之外，表示線性轉化矩陣。該模型學習了每一個三元組的重要程度，用表示。之後用一個權矩陣作為引數進行線性變換，然後應用 LeakyRelu 非線性得到三元組的絕對注意值（如公式（6））。

如公式（7）所示，為了獲得相對注意力值，對所有進行 softmax 運算。圖三展示了對於一個三元組相對注意力值的計算過程：

其中表示所有與實體相鄰的實體的集合，表示連線實體與的關係的集合。實體的新的嵌入向量是由對每一個三元組表示向量按注意力值進行加和得到的。如公式（8）所示：

為了穩定學習過程，且壓縮更多的有關鄰居結點的資訊，採用多頭注意力機制。將 M 個獨立的注意力機制用來計算，將其連線，可以表示如下：

圖四展示了圖注意力層結構。如公式（10）所示，將一個權重矩陣作用於關係嵌入矩陣 G 進行線性變換，其中 T' 是輸出的關係嵌入向量的維度。

在模型的最後一層作者採用對最終的實體的嵌入向量取平均的方式而不是像多頭嵌入一樣採用連線嵌入。具體公式如下：

但是當學習新的嵌入向量時，實體丟失了它們最初的嵌入向量資訊。因此為了解決這個問題，作者通過用一個權重矩陣對進行線性變換得到。其中表示本文模型中作為輸入的實體嵌入向量，表示轉化後的實體嵌入向量，表示初始實體嵌入向量的維度，表示最終實體嵌入向量的維度。作者將最初的實體嵌入向量的資訊加到從模型最終注意力層獲得的實體嵌入向量矩陣上，公式如下：

在本文的架構中，作者通過將兩個實體間存在的多跳關係作為輔助關係的方式將邊的定義擴充為有向路徑。這個輔助關係的嵌入是路徑中所有關係的嵌入之和。本文的模型迭代地從一個實體的遙遠鄰居那裡積累知識。

如圖 2 所述，在本文中模型的第一層，所有實體捕捉了與它們直接相連的鄰居資訊，在第二層中，U.S 結點從實體 BarackObama、EthanHorvath、Chevrolet 和 WashingtonD.C 結點聚集資訊，這些節點中已經從之前層中獲得了他們鄰居節點 MichelleObama 和 SamuelL.Jackson 的資訊。

總之，對於一個 n 層模型來說，傳入的資訊是根據 n 跳相鄰的鄰居計算得出的。學習新的實體嵌入向量的聚合過程和相鄰多跳結點間的輔助邊的引入在圖二中都有所展示。對於每一個主要的迭代過程，在第一層之前，在每一個廣義的 GAT 層之後，作者對實體的嵌入向量進行了規範化處理。

訓練目標 

作者提出的模型借鑑了平移得分函式的思想，使得在學習嵌入向量的過程中，假設給定一個真實的三元組，存。作者嘗試學習實體和關係嵌入來最小化由給出的 L1 -範數不相似測度。並用 hinge 損失來訓練本文中的模型，具體公式如下：

其中 γ>0 是一個邊緣超引數，S 是正確的三元組集合，S' 表是不正確的三元組集合。S' 按照如下形式給出：

解碼

本篇模型採用 ConvKB 作為解碼器，卷積層的目的是分析三元組各個維度上的全域性嵌入特性，並歸納出模型中的轉化特性。根據多個特徵對映得到的得分函式可以寫成如下形式：

其中表示第 m 個卷積過濾器，Ω 是表示過濾器數量的超引數，* 是卷積運算子，表示一個用於計算三元組最終得分的線性轉化矩陣。模型用軟邊界損失函式來進行訓練。

當時，；當時，。