論文題目：Universal Representation Learning of Knowledge Bases by Jointly Embedding Instances and Ontological Concepts
論文作者：Junheng Hao， Muhao Chen， Wenchao Yu， Yizhou Sun， Wei Wang
論文地址：http://web.cs.ucla.edu/～yzsun/papers/2019_KDD_JOIE.pdf
程式碼地址：https://github.com/JunhengH/joie-kdd19
研究動機
許多大規模知識圖譜都具備兩個檢視下的知識：以抽象概念（例如：Person、Artist）及概念間關係（例如：isA、livesIn）組成的本體檢視，和以例項（例如：Barack Obama）與例項間關係（例如：has_award）組成的例項檢視。如下圖所示：
當前的知識表示方法大多隻對兩個檢視中的一個進行了設計，而同時對兩個檢視的知識進行建模則有利於：1）保留例項表示的豐富資訊；2）概念對例項的高度概括性，利於對極少被觀察到的例項進行分類。但聯合考慮例項與概念也會帶來如下挑戰：
例項與概念、關係（例項間關係）與元關係（概念間關係）往往在詞形上有很大差異但又存在語義相關，使得現有方法難以同時對次進行建模；
現有的例項與概念間的上下位關係（isA）就例項規模而言是很少的，而連結兩個檢視最重要的就是isA關係；
例項檢視的規模比概念規模要大很多，且概念間存在層次結構。
提出方法
針對以上挑戰，作者提出使用跨檢視關聯模型（Cross-view Association Model）和內部檢視模型（Intra-view Model）對知識圖譜進行多方面的表示學習方法JOIE。跨檢視關聯模型注重將例項與概念進行關聯，內部檢視模型則注重例項檢視內部的例項、本體檢視內部的概念各自的結構學習。下面將詳細介紹兩個模組。
1.跨檢視關聯模型（Cross-view Association Model）
基於不同的假設，作者提出了兩種跨檢視關聯模型：跨檢視分組（Cross-view Grouping，CG）和跨檢視轉換（Cross-view Transformation，CT）。
跨檢視分組（CG）可以被看作是基於分組的正則化，它假設本體檢視和例項檢視可以被嵌入表示到同一空間中，並強制任何所有屬於概念c的例項e都與c在表示空間上位置相近。因此優化的目標為：
其中γCG是hinge loss中的超參，S表示具有isA關係的例項與概念關係對。
與CG不同，跨檢視轉換（CT）允許兩個檢視的向量空間彼此完全不同，但可以通過一個變換將其對齊在一起，即
，這裡使用的是非線性仿射變換
。所以優化的目標定義為：
其中γCT是hinge loss中的超參。如下為兩個子模組的示意圖：
2.內部檢視模型（Intra-view Model）
內部檢視模型目標是在兩個向量空間中分別保留每個檢視中的原始結構資訊。由於本體檢視與例項檢視中的關係語義相關但又不同，因此更適合將其分別建模。這裡作者分了預設內部檢視模型（Default Intra-view Model）和層次感知的檢視模型（Hierarchy-Aware Intra-view Model for the Ontology）兩個部分來對知識圖譜的內部進行建模。
預設內部檢視模型（Default Intra-view Model）即使用現有的知識圖譜表示學習方法對兩個檢視分別進行學習。本文作者選擇了較為經典的TransE[1]，DistMult[2]和HolE[3]分別進行實驗，各自的得分函式如下：
優化目標即最小化所有三元組（包括例項間三元組和概念間三元組）的hinge loss：
其中γG為超參。總的loss會增加引數α1用於平衡兩個檢視的loss：
預設內部檢視模型並不能對本體檢視的概念間上下位關係進行很好的建模，所以作者提出層次感知的檢視模型（Hierarchy-Aware Intra-view Model for the Ontology）用於表示概念間subclass_of結構。這裡設計方法類似CT，即給定一個具備subclass_of關係的概念對
，認為存在非線形變換將粗粒度的概念（上位概念）對映為細粒度的概念（下位概念）：
其中
為需要學習的引數。同樣地，可以定義本體檢視層次感知的優化目標：
因此，總的內部檢視模型優化目標為：
其中α2和α3為平衡每一部分loss的超參。
3.兩個檢視的聯合訓練
結合檢視內模型和跨檢視關聯模型，JOIE使用AMSGrad[4]最小化如下hinge loss：
其中ω為平衡兩個模型的超參。
實驗分析
資料集方面，由於現有方法大多隻關注對一個檢視的知識建模，缺少融合兩個檢視特點的公開評測資料。所以作者從YAGO和DBpedia構建了兩個更符合真實知識圖譜結構的資料集YAGO26K-906和DB111K-174。資料集的相關資訊統計如下：
作者使用如上所述的資料集在知識圖譜補全（KG Triple Completion）和實體分類（Entity Typing）兩個任務上對JOIE的效能進行了評測。
1.知識圖譜補全（KG Triple Completion）
知識圖譜補全任務目標是補全知識圖譜缺失的關係或實體以組成正確的事實三元組。該任務可分為例項檢視的知識補全和本體檢視的知識補全兩個子任務。Baselines方面使用的是經典的TransE，DistMult和HolE，以及分別對概念和例項進行建模的TransC[5]。方法中註明“base”的為用兩組引數分別學習兩個檢視的知識，“all”增加聯絡兩個檢視的關係type_of，並用同一組引數同時學習兩個檢視的知識。實驗結果如下：
可以看到，在DB111K-174的本體檢視上，JOIE的效果顯著地比baselines高了近10個百分點，這表明了融合例項檢視的知識有益於概念檢視的知識學習。對比使用不同的內部檢視模型，基於翻譯的方法要優於基於相似度的模型，這是由於TransE受到圖稀疏性的影響相對小一點。考慮本體檢視層次結構、使用CT的JOIE在例項檢視中有很好的效果。
2.實體分類（Entity Typing）
實體分類任務就是給定例項為其預測所屬分類（概念）。這裡使用的baselines包括TransE，DistMult，HolE和MTransE[6]。實驗結果如下：
可以看到，考慮本體檢視層次結構、使用CT的JOIE在兩個資料集上均有很好的發揮。
3.案例分析
除此之外，作者還對實驗進行了一些案例分析，可以歸納為以下兩點：
（a）JOIE能夠發現一些資料集中不存在、但在真實客觀世界中存在的元關係三元組。
（b）JOIE對長尾實體分類具有更顯著的效果提升
參考文獻
[1] Antoine Bordes， Nicolas Usunier， Alberto Garcia-Duran， Jason Weston， and Oksana Yakhnenko. 2013. Translating embeddings for modeling multi-relational data. In NIPS.
[2] Bishan Yang， Wen-tau Yih， Xiaodong He， Jianfeng Gao， and Li Deng. 2015. Embedding entities and relations for learning and inference in knowledge bases. In ICLR.
[3] Maximilian Nickel， Lorenzo Rosasco， Tomaso A Poggio， et al. 2016. Holographic Embeddings of Knowledge Graphs.. In AAAI.
[4] Sashank J Reddi， Satyen Kale， and Sanjiv Kumar. 2018. On the convergence of adam and beyond. In ICLR.
[5] Xin Lv， Lei Hou， Juanzi Li， and Zhiyuan Liu. 2018. Differentiating Concepts and Instances for Knowledge Graph Embedding. In EMNLP.
[6] Muhao Chen， Yingtao Tian， Mohan Yang， and Carlo Zaniolo. 2017. Multilingual knowledge graph embeddings for cross-lingual knowledge alignment. In IJCAI.