GMNN: Graph Markov Neural Networks
Meng Qu，Yoshua Bengio，Jian Tang
Montreal Institute for Learning Algorithms (MILA), University of Montreal, Canadian Institute for Advanced Research (CIFAR), HEC Montreal
http://proceedings.mlr.press/v97/qu19a/qu19a.pdf
本文主要研究關係資料中的半監督物件分類，該問題在關係資料建模中是比較基本的問題。在基於統計的關係學習（如關係馬爾科夫網路）和圖神經網路（如圖卷積網路）的相關文獻中，對該問題進行了廣泛的研究。
基於統計的關係學習方法，利用條件隨機場能夠學習物件標籤之間的依賴性，然後進行集體分類，而圖神經網路能夠進行端到端的訓練。這篇文章提出了圖馬爾科夫神經網路（GMNN），該網路能夠結合二者的優勢。
GMNN用條件隨機場對物件標籤的聯合分佈進行建模，其中條件隨機場能夠利用變分EM（期望最大）演算法進行有效訓練。
在 E -Step中，圖神經網路能夠學到有效的物件表示，該表示能夠近似物件標籤的後驗分佈。在 M -Step中，另一個圖神經網路用於對區域性標籤依賴進行建模。
在物件分類、鏈路分類和無監督節點表示學習上的實驗表明，GMNN 取得了最好的結果。
基於條件隨機場的方法有一些不足，比如
（1）這些方法通常將條件隨機欄位中的勢函式定義為某些人工設計的特徵函式的線性組合，這些函式是啟發式的。而且，這種模型的表達能力比較有限。
（2）由於物件之間的關係結構比較複雜，對未標記物件的標籤的後驗分佈進行推斷仍然具有一定的挑戰性。
基於圖的神經網路也有一些不足，一個關鍵的限制即為物件的標籤是根據其表示形式獨立預測的，如此一來，物件標籤之間的聯合依賴項會被忽略。
在變分EM框架中，E-step用於推理，M-step用於學習。在學習過程中，GMNN的訓練過程不是最大化似然函式，而是優化偽似然函式，並利用圖神經網路對物件標籤的區域性條件分佈進行建模。這種圖神經網路能夠比較好地學習物件標籤的依賴性，並且不需要人工設計勢函式。
在推理過程中，由於精確推理比較難解，可以利用均值場近似值來解決。
受攤銷推理的啟發，作者們利用另一個圖神經網路對物件標籤的後驗分佈進行建模， 進而可以學習有用的物件表示用於預測物件的標籤。在推理過程中，利用圖神經網路，可以顯著減少引數的數量，並且在推理中的不同物件之間可以共享統計證據。
半監督物件分類的問題描述如下
簡言之即為，已知部分標籤推測未知的標籤。
在統計關係學習中，問題描述如下
在圖神經網路中，問題描述如下
由於很多物件的標籤是未知的，因此可以將最大化對數似然函式轉化為求其證據下界（ELBO），此時求解可以交替執行變分E-Step和M-Step。
為了避免計算配分函式，可以優化下面的偽似然函式，該似然函式基於樣本點的鄰域樣本集。
在推理過程中，由於標籤之間的複雜依賴關係，直接推理後驗分佈比較難，因此可以基於平均場方法來解決。
對於未知標籤的物件，利用取樣來得到，而對於已知標籤的物件，直接利用其真實標籤。實際情況中利用一個取樣即可。
在學習過程中只需要學習條件分佈，不需要人工特徵。
為了對不同物件之間的長程依賴進行建模，可以利用多資訊傳輸層。
優化演算法虛擬碼如下
整體框架圖示如下
在實驗中，針對物件分類任務，每個類中有20個有標籤的樣本，度量標準為準確率。
資料集資訊統計如下
物件分類中幾種演算法的效果對比如下
無監督節點表示學習中幾種演算法效果對比如下
在物件分類問題中，引數設定如下
無監督節點表示學習中引數設定如下
連結分類中引數設定如下
連結分類問題中幾種方法的效果對比如下
不同結構下攤銷推理的結果對比如下
收斂性分析圖示如下，容易看出收斂速度很快
程式碼地址
https://github.com/DeepGraphLearning/GMNN