• 關鍵詞：Cross-lingual Entity Alignment，GCN，Embedding

• 摘要

多語言知識圖譜（KG）例如DBpedia和YAGO都包含幾種不同語言實體中的機構性知識，並且它們對於跨語言AI和NLP應用都是有用的資源。跨語言KG對齊是一個將實體與它們在不同語言中對應部分匹配起來的任務，這是豐富多語言KG的跨語言連結的重要途徑。本文中，我們提出一種基於圖卷積神經網路（GCN）的跨語言實體KG對齊的新方法。給定一個預對齊實體集合，我們的方法訓練GCN來將每種語言嵌入到一個統一向量空間。基於嵌入空間中實體間的距離發現實體對齊。嵌入可以從實體的結構資訊和屬性資訊中學習到，並將結構嵌入和屬性嵌入的結果結合起來進行精確的比對。在對真實多語言KG對齊的實驗中，與其他基於嵌入的KG對齊方法相比，我們的方法獲得了最佳的效能。

• 介紹

問題 在本文之前的基於嵌入的方法（如MTransE，JAPE，JE，ITransE）都是試圖將跨語言知識和單語言知識聯合建模在一個統一的優化問題中。在優化過程中，必須仔細平衡兩種知識的損失。此外，已有模型中並沒有對實體的屬性進行有效利用。

貢獻  提出一種新的基於嵌入的方法，使用GCN來建模實體間的等價關係。其具有以下優點：

• 該方法利用每個KG中的實體關係構建GCN的網路結構，在模型訓練中只考慮實體之間的等價關係。該方法具有較小的模型複雜度，能夠達到很好的對齊效果。
• 我們的方法只需要預先對齊的實體作為訓練資料，不需要KG之間預先對齊的關係或屬性。
• 該方法有效地結合了實體關係和實體屬性，提高了對結果的一致性。

MTransE，JAPE，JE，ITransE都是先依靠TransE模型學習實體嵌入，然後定義對齊實體的嵌入之間的一些轉換。與這些方法相比，我們的方法使用了一個完全不同的框架;它使用GCN將實體嵌入到一個統一的向量空間中，並期望對齊的實體儘可能接近。我們的方法只關注匹配兩個KG中的實體，而不學習關係的嵌入。MTransE、JAPE和ITransE都需要KG中的關係對齊或共享;我們的方法不需要這種先驗知識。

• 方法

 

本文方法框架如圖1.給定不同語言的兩個知識圖譜和，以及它們之間的預對齊實體集合，我們的方法可以基於GCN實體嵌入自動發現新的實體對齊。方法的基本思想是用GCN將不同語言的實體嵌入到一個統一向量空間中，其中期望等價實體儘可能的接近。通過對實體的GCN表示應用一個預定義的距離函式來預測實體對齊。

 

1 基於GCN的實體嵌入

GCN是一種可以直接操作圖資料的神經網路。GCN允許端到端學習預測管道，其輸入是任意大小和形狀的圖形；GCN的目標是學習輸入圖上的特徵函式，並生成節點級輸出。GCN可以將節點的鄰域資訊編碼為實值向量。當解決KG對齊問題時，我們假設（1）等價實體趨向於具有相似的屬性（2）等價實體通常與某些其他等價實體相鄰。GCN能夠結合屬性資訊與結構資訊，因此我們的方法使用GCN將實體投影到低維向量空間，其中等價實體彼此接近。

  一個GCN模型由多個堆疊的GCN層組成。第l層GCN模型的輸入是一個頂點特徵矩陣，，其中n是頂點個數，是l層特徵數。l層的輸出則是一個新的節點特徵矩陣，通過以下卷積計算：

其中σ是啟用函式；A是一個n×n連線矩陣，代表圖的結構資訊；，I是單位矩陣；是的對角節點度矩陣；是GCN第l層的權重矩陣，是新頂點特徵的維數。

結構和屬性嵌入  本方法為GCN層中的每個實體分配兩個特徵向量，結構特徵向量和屬性特徵向量。在輸入層，被隨機初始化並在訓練過程中被更新；是實體的屬性向量，在模型訓練過程中是固定的。讓和作為所有實體的結構和屬性特徵矩陣，我們重定義了卷積計算如下：

其中與分別是第l層的結構特徵與屬性特徵權重矩陣。

模型配置  模型使用兩層GCN，每個GCN處理一個KG來生成其實體的嵌入。將兩個實體記做和，並將它們對應的GCN模型記做和。對於實體的結構特徵向量，我們將和中所有層的特徵向量維度都設定為；並且兩個GCN模型在兩層中的結構特徵共享權重矩陣和。對於實體的屬性向量，我們將輸出特徵向量維度設定為。由於兩個KG含有的屬性數量不同（即），因此兩個GCN模型的輸入屬性特徵向量維度也是不同的。每個GCN模型的第一層將輸入屬性特徵向量轉換成維度的向量；兩個GCN模型生成相同維度的屬性嵌入。表1列出了方法中兩個GCN的引數。最後的輸出是維度的實體嵌入，進一步用於發現實體對齊。

連通矩陣的計算  在GCN模型中，連通性矩陣A定義了卷積計算中實體的鄰域。對於無向圖，可直接使用鄰接矩陣作為。但知識圖譜是關係多圖，實體通過型別關係進行連線。因此，我們設計了一個特殊的方法來計算KG的A；我們讓表示從第i個實體到第j個實體的對齊資訊傳播的程度。考慮到兩個實體如果通過不同的關係連線到已對齊實體，那麼它們不等價的可能性很大（例如，有父母vs.有朋友）。因此，對於每個關係，我們計算兩個測度，分別稱為函式和逆函式：

為測量第i個實體對第j個實體的影響，我們設定為：

2 對齊預測

實體對齊是基於GCN表示空間中兩個KG中實體間的距離來預測的。對於中的和中的，我們計算以下距離：

其中，和分別代表一個實體的結構嵌入和屬性嵌入；和是結構嵌入和屬性嵌入的維度；β是平衡兩種嵌入重要性的超引數。

  期望等價實體間距離較小，非等價實體間距離較大。對於中一個特定實體，我們的方法可以計算中的所有實體與的距離，並返回一列有序實體作為候選實體。從到也可以進行對齊。在實驗中，我們報告了兩個方向的KG對齊結果。

3 模型訓練

為使GCN能夠將等價實體在向量空間中嵌入得儘可能接近，我們使用一個已知對齊實體集S作為訓練資料來訓練GCN模型。通過最小化下面的基於距離的排序損失函式進行模型訓練：

其中創造負例的方法是從或中隨機選取一個實體替換(e,v)中e或v；是距離超引數，作用是將正對齊和負對齊分離開。和分別是結構嵌入與屬性嵌入的損失函式，它們相互獨立因此是分開進行優化的。我們使用SGD來最小化上述函式。

• 實驗

資料集：DBP15K

實驗結果：