論文解讀（GROC）《Towards Robust Graph Contrastive Learning》

發表於2022-04-24
AST

論文資訊

論文標題：Towards Robust Graph Contrastive Learning
論文作者：Nikola Jovanović, Zhao Meng, Lukas Faber, Roger Wattenhofer
論文來源：2021, arXiv
論文地址：download 
論文程式碼：download

1 Introduction

　　創新點：從對抗攻擊和對抗防禦考慮資料增強策略。

2 Graph robust contrastive learning

2.1 Background

　　目的：期望同一節點在 $\tau_{1}$ 和 $\tau_{2}$ 下的嵌入是相似的。同時，期望不同節點的嵌入在兩個圖檢視之間的嵌入是不同的。

　　令：$N e g(v)=\left\{\tau_{1}(u) \mid u \in V \backslash\{v\}\right\} \cup\left\{\tau_{2}(u) \mid u \in V \backslash\{v\}\right\}$ 是兩個圖檢視中除 $v$ 以外的節點的嵌入。$ \sigma$ 是相似性度量函式。

　　即：

　　通過下式計算編碼器的引數 $ \theta $ ：

　　　　$ \underset{\theta}{ \arg \max }  \;\;\;   \mathbb{E}_{\tau_{1}, \tau_{2} \sim \mathrm{T}}\left[\sum\limits _{v \in V} \sigma\left(z_{1}, z_{2}\right)-\sum\limits_{u \in N e g(v)} \sigma\left(z_{1}, f_{\theta}(u)\right)\right]$

　　其中 $z_{1} \equiv f_{\theta}\left(\tau_{1}(v)\right)$ ， $z_{2} \equiv f_{\theta}\left(\tau_{2}(v)\right) $

　　由於轉換 $T$  的搜尋空間較大，且缺乏優化演算法，上述優化問題難以解決。我們遵循GRACE方法來解決這個問題。即 先對 $z_{1}, z_{2}$ 施加一個兩層的 MLP ，然後再計算餘弦相似度，損失函式變為：

　　　　$\frac{1}{2 n} \sum\limits _{v \in V}\left[\mathcal{L}\left(v, \tau_{1}, \tau_{2}\right)+\mathcal{L}\left(v, \tau_{2}, \tau_{1}\right)\right]\quad\quad\quad(1)$

　　其中：

　　　　$\mathcal{L}\left(v, \tau_{1}, \tau_{2}\right)=-\log {\Large \frac{\exp \left(\sigma\left(z_{1}, z_{2}\right) / t\right)}{\exp \left(\sigma\left(z_{1}, z_{2}\right) / t\right)+\sum\limits _{u \in N e g(v)} \exp \left(\sigma\left(z_{1}, f_{\theta}(u)\right) / t\right)}} $

2.2 Motivation

　　上述對比學習方法在無標籤的情況下效果不錯，但是其準確率在對抗攻擊的條件下顯著下降。

2.3 Method

　　令  $\tau_{i} \in T$ 表示為資料增強組合 $ \tau_{i}=\tau_{i}^{\prime} \circ \tau_{i}^{\prime \prime} $，即隨機資料增強和對抗（攻擊和防禦）。

普通資料增強層面：

　　分別應用隨機資料增強（只用特徵隱藏）$\tau_{1}^{\prime} $、 $\tau_{2}^{\prime}$ 於原始圖，得到對應兩個檢視。

對抗層面：（邊刪除和邊插入）

　　受對抗防禦的影響，本文提出基於梯度資訊選擇要刪除的邊的策略。先對應用 $\tau^{\prime}$ 後的兩個檢視進行一次前向和反向傳播過程，得到邊緣上的梯度。因為需要最小化 $\text{Eq.1}$ ，所以選擇一個最小梯度值的邊子集合。

　　同時，引入基於梯度資訊的邊插入。由於插入所有未在圖中的邊不切實際，所以考慮在每個 batch $b$上處理，還將將插入集合 $S^{+}$ 限制在 邊 $(u,v)$ 上。設 $ v$ 是一個錨節點，$ u$ 在 $v^{\prime} \neq v$ 的 $?-hop$ 鄰域內，而不在 $ v$ 的 $?-hop$ 鄰域內，這裡暫時將 $S^{+}$ 中的邊權重設定為  $1/|S^{+}|$。這裡先將 $S^{+}$ 插入到兩個檢視。

　　然後在 Batch 中計算損失。最後分別在兩個檢視上進行基於梯度最小的邊刪除和基於最大的邊插入。

　　此外，假設節點批處理還有一個額外的好處，因為這大大減少了每個 $v$ 的 $Neg(v)$ 中的負例子的數量，使個 $v$ 更多地關注它在另一個檢視中的表示。GROC演算法如圖 1 所示，詳見演算法1。

　　

　　

3 Experiments

資料集及超引數設定

　　

　　引數：

    • 編碼器 $f_{\theta} $ 是兩層的 GCN ，每層的大小分別為：$2n_h$ 、$n_h$
    • 學習率：$\eta$
    • 訓練次數：$n_{epoch}$
    • L2懲罰項的懲罰因子：$\lambda$
    • 溫度引數：$\tau$
    • 特徵掩蔽率：$p_1$、$p_2$
    • 邊刪除率：$q_{1}^{-}$、$q_{2}^{-}$
    • 邊插入率：$q_{1}^{+}$、$q_{2}^{+}$
    • 節點批次大小 ：$b$

基線實驗

　　

結論

　　在本研究中，我們關注圖形自監督學習方法的對抗魯棒性問題。我們懷疑，並且通過後來的實驗證實，先前引入的對比學習方法很容易受到對抗性攻擊。作為在這種情況下實現魯棒性的第一步，我們引入了一種新的方法，GROC，它通過引入對抗性轉換和邊緣插入來增強圖檢視的生成。我們通過一組初步的實驗證實了該方法可以提高所產生的表示的對抗性魯棒性。我們希望這項工作最終將導致在圖上產生更成功和更魯棒的對比學習演算法。

 

 

 

 

 

相關論文

微小擾動對高精度 GNNs 任然有影響：[7, 25, 31]
使用對抗變換是能有效提高表示能力的：[19]
基於預訓練的帶屬性圖：[12]
視覺上的對比學習：[2, 10]
圖上的對比學習：[9, 27, 28, 30, 33, 36, 39, 40]
兩檢視（刪邊和屬性隱藏）的對比學習：[40]
多檢視圖級對比學習：[36]
不需要加負樣本：[8]
圖上不需要加負樣本：[1, 32]

 

相關文章