知識圖譜之知識表示

微瀾同學發表於2018-08-05

先上兩個狠全面的綜述或者叫總結:

然後是清華大學開源OpenKE:知識表示學習平臺

“表示學習旨在將研究物件的語義資訊表示為稠密低維實值向量,知識表示學習主要是面向知識圖譜中的實體和關係進行表示學習。使用建模方法將實體和向量表示在低維稠密向量空間中,然後進行計算和推理。”

知識表示的幾個代表模型:距離模型、單層神經網路模型、能量模型、雙線性模型、張量神經網路模型、矩陣分解模型和翻譯模型等。

對常用模型進行簡要概括:)

距離模型:

結構表示(structured embedding, SE)將頭實體向量Lh和尾實體向量Lr通過關係r的兩個矩陣投影到r的對應空間中,然後在該空間中計算兩投影向量的距離。這個距離反映了兩個實體在關係r下的語義相關度,他們的距離越小,說明兩個實體存在這種關係。SE為每個三元組(h, r, t)定義瞭如下損失函式:

翻譯模型:

TransE模型將知識庫中的關係看做實體間的某種平移向量(平移不變現象普遍存在於詞向量空間,詞彙的語義關係和句法關係中)。對於每個三元組(h, r, t),TransE用關係r的向量Lr作為頭實體向量Lh和尾實體向量Lt之間的平移,也可以將Lr看作從Lh到Lt的翻譯。對於每個三元組(h, r, t),TransE希望,TransE模型定義瞭如下損失函式,即向量Lh+Lr和Lt的L1或L2距離。在實際學習過程中,為了增強知識表示的區分能力,TransE採用最大間隔方法,定義瞭如下優化目標函式

---------------------------------------------------------------------------------------------

後續有非常多以TransE為基礎的擴充套件模型,TransH, TransR, TransD ...

具體還是看論文比較好:)

 

相關文章