作者 | 孫科
編輯 | 唐裡
本文對北京大學林宙辰團隊完成，被AAAI-20錄用的論文《Multi-Stage Self-Supervised Learning for Graph Convolutional Networks on Graphs with Few Labeled Nodes》進行解讀。
圖卷積網路GCN[1,2,3,4]在圖學習任務中扮演著關鍵的角色，然而在一張只有弱監督[5]訊號的圖上如何高效地完成學習任務仍是一個困難的問題。
具體來說，由於過度平滑問題[6]的存在，已有的圖卷積網路很難做深，這使得高階鄰居的資訊無法利用，而很多現實中的graph通常只有少量監督訊號，這一缺陷使得僅有的少量的監督資訊無法在graph上得到有效傳播，制約了圖卷積的效率。
另一方面，自監督學習[7]被大量應用在各種學習任務中，如何在圖卷積網路中引入自監督學習，來解決圖卷積模型自身的問題，比如層數不能做深影響弱監督訊號的傳播，仍然值得探索。
本文首先針對少量監督資訊無法在graph上傳播這一問題提出了不斷加標籤的多階段學習框架，然後將這一框架整合到圖卷積神經網路中。同時為了提高新增標籤的正確率，本文通過在embedding空間實施DeepCluster自監督聚類構造了一種自我檢查機制，從而在演算法中額外利用了embedding空間的資訊，最後建立了本文中的Multi-Stage Self-Supervised Learning (M3S)訓練演算法，並在解決graph上只有弱監督訊號的任務設定下取得了一致最優的結果。
圖卷積中的多階段自監督學習演算法
1、圖卷積神經網路
兩層GCN[2]的公式如下：
Li, Han, and Wu 2018[6]分析了圖卷積本質的作用機制是一種對稱的拉普拉斯平滑，但是堆疊多層反覆施加這一平滑會使得訊號過度平滑而丟失資訊。沒有辦法做深這一圖卷積神經網路的缺陷限制了有限監督節點的弱監督訊號在graph上的傳播。
2、多階段訓練演算法框架
受到self-training[6]的啟發，我們進一步擴充這種自訓練的方式到多階段。通過每一階段將圖卷積模型預測節點中confidence高的節點加入到有標籤的訓練集中，不斷在整個圖中擴大監督資訊的利用。多階段訓練演算法流程如下：
3、深度聚類
作為一種典型的自監督學習方法，DeepCluster[7]通過求解下面的優化問題來構造每個樣本的虛擬標籤，從而進一步提供網路訓練的監督資訊。
我們藉助了DeepCluster[7]的思想，在graph embedding空間中實施DeepCluster[7]來構造每個節點的虛擬標籤。
進一步，我們在embedding空間中設計了對齊機制，將沒有標籤的節點根據空間中的距離遠近自動對齊到最近的類別中，從而完成監督標籤的構建。對齊機制等價於求解如下優化問題：
演算法流程
圖1顯示了我們M3S的訓練演算法流程：首先在整個演算法是嵌入在多階段訓練演算法框架中的，在每一階段通過找到top t confident節點加入到有標籤的節點集合中來不斷擴大監督訊號；另一方面，在graph embedding空間中實施DeepCluster，並通過對齊機制建立和監督標籤一樣的虛擬標籤，構造的虛擬標籤作為一種自我檢查機制Self-Checking，只有當多監督訓練框架中探索的top-t confident的標籤和DeepCluster的虛擬標籤一致的情況下，才將該節點極其更加確信的標籤加入到有標籤的節點集合中，進而進入下一階段的訓練。具體演算法流程如下：
實驗
1、層數效應
在本文的實驗部分我們先探究了圖卷積神經網路的層數效應，即當標籤比率越低時最優的層數呈現增長的趨勢。這一層數效應證明了弱監督訊號需要更多層數來傳播的必要性。
2、多階段訓練演算法框架的優勢
進一步地，我們通過探討不同K階段的訓練演算法相比於只有一個階段訓練演算法的優勢，可以看出，當label rate越低的時候多階段訓練框架效果提升地越明顯。
3、M3S的進一步提升
最後，我們將DeepCluster的自監督機制引入多階段訓練框架。從表格中的結果來看，我們容易發現最後得到M3S演算法不僅對多階段訓練演算法框架效果進一步提升，而且在三個資料集不同的標籤比率下取得了一致最好的結果，這充分證明了我們演算法的有效性。
同時本文也提供了引數的靈敏度分析，為我們的M3S在實際中的部署提供了具體的指導。
相關論文
[1] Will Hamilton, Zhitao Ying and Jure Leskovec. Inductive representation learning on large graphs. NIPS 2017.
[2] Thomas N Kipf, and Max Welling . Semi-supervised classification with graph convolutional networks. ICLR 2017.
[3] Petar Velickovic, Guillem Cucurull, Arantxa Casanova, Adriana Romero, Pietro Lio and Yoshua Bengio. Graph attention networks. ICLR 2018.
[4] Jie Zhou, Ganqu Cui, Zhengyan Zhang, Cheng Yang, Zhiyuan Liu and Maosong Sun. Graph neural networks: A review of methods and applications. arXiv 2018.
[5] Zhihua Zhou. A brief introduction to weakly supervised learning. National Science Review 2017.
[6] Qimai Li, Zhichao Han and Xiaoming Wu. Deeper insights into graph convolutional networks for semi-supervised learning. AAAI 2018.
[7] Mathilde Caron, Piotr Bojanowski, Armand Joulin and Matthijs Douze. Deep clustering for unsupervised learning of visual features. ECCV 2018.
AAAI 2020 論文集：
AAAI 2020 論文解讀會 @ 望京（附PPT 下載）
AAAI 2020 論文解讀系列：
01. [中科院自動化所] 通過識別和翻譯互動打造更優的語音翻譯模型
02. [中科院自動化所] 全新視角，探究「目標檢測」與「例項分割」的互惠關係
03. [北理工] 新角度看雙線性池化，冗餘、突發性問題本質源於哪裡？
04. [復旦大學] 利用場景圖針對影像序列進行故事生成
05. [騰訊 AI Lab] 2100場王者榮耀，1v1勝率99.8%，騰訊絕悟 AI 技術解讀
06. [復旦大學] 多工學習，如何設計一個更好的引數共享機制？
07. [清華大學] 話到嘴邊卻忘了？這個模型能幫你 | 多通道反向詞典模型
08. [北航等] DualVD：一種視覺對話新框架
09. [清華大學] 藉助BabelNet構建多語言義原知識庫
17. [上海交大] 基於影像查詢的視訊檢索，程式碼已開源！
18. [奧盧大學] 基於 NAS 的 GCN 網路設計（視訊解讀）
19. [中科大] 智慧教育系統中的神經認知診斷，從資料中學習互動函式