論文解讀（SCGC)《Simple Contrastive Graph Clustering》

論文資訊

論文標題：Simple Contrastive Graph Clustering
論文作者：Yue Liu, Xihong Yang, Sihang Zhou, Xinwang Liu
論文來源：2022,arXiv
論文地址：download 
論文程式碼：download

1 Introduction

 　　貢獻：

• • 提出了一種簡單的對比深度圖聚類方法，稱為 $\text{SCGC}$。$\text{SCGC}$ 不需要預訓練，併為網路訓練節省時間和空間；
  • 提出了一種新的僅在增強的屬性空間中進行資料擾動的資料增強方法；
  • 設計了一種新的面向鄰居的對比損失，以保持跨檢視的結構一致性；

2  Method

2.1 Notations and Problem Definition

　　

　　其中：

• • $\widehat{\mathbf{A}}=\mathbf{A}+\mathbf{I}$　　
  • $\mathbf{L}=\mathbf{D}-\mathbf{A}$　　
  • $\widetilde{\mathbf{L}}=\widehat{\mathbf{D}}^{-\frac{1}{2}} \widehat{\mathbf{L}} \widehat{\mathbf{D}}^{-\frac{1}{2}}$　　

2.2 Overall Framework

　　整體框架：

　　 

　　組成部分：　　

• • low-pass denoising operation　　
  • Structural Contrastive Module (SCM)　　

2.3 Low-pass Denoising Operation

　　[5, 18, 44] 證明了拉普拉斯濾波器可以達到與圖卷積運算相同的效果。所以引入一個低通去噪操作，在訓練前將鄰居資訊聚合作為一個獨立的預處理。這樣，屬性中的高頻噪聲將被有效地過濾掉。

　　　　具體地說，採用了一個圖的拉普拉斯濾波器作為公式：

　　　　$\mathbf{H}=\mathbf{I}-k \tilde{\mathbf{L}}  \quad\quad\quad(1)$

　　$k$ 為實值，對於 $k$ 的選擇，在所有實驗中遵循 AGE[5] 並設定 $k=2 / 3$。隨後，將 $t$ 層圖拉普拉斯濾波器堆疊如下：

　　　　$\mathbf{X}_{s}=\mathbf{H}^{t} \mathbf{X} \quad\quad\quad(2)$

　　其中，$\widetilde{\mathbf{L}}$ 為平滑的屬性矩陣。通過這種低通去噪操作，過濾掉了屬性中的高頻噪聲，從而提高了聚類效能和訓練效率。

2.4 Structural Contrastive Module

　　結構對比模組(SCM)，保持兩個不同的檢視的結構一致性，從而提高網路的鑑別能力。

　　具體來說，首先用設計的引數非共享MLP編碼器對平滑屬性 $\mathbf{X}_{s}$ 進行編碼，然後用 $\ell^{2}$-norm 對學習到的節點嵌入進行歸一化如下

　　　　$\begin{array}{l}\mathbf{Z}^{v_{1}}=\operatorname{MLP}_{1}\left(\mathbf{X}_{s}\right), \mathbf{Z}^{v_{1}}=\frac{\mathbf{Z}^{v_{1}}}{\left\|\mathbf{Z}^{v_{1}}\right\|_{2}} \\\mathbf{Z}^{v_{2}}=\operatorname{MLP}_{2}\left(\mathbf{X}_{s}\right), \mathbf{Z}^{v_{2}}=\frac{\mathbf{Z}^{v_{2}}}{\left\|\mathbf{Z}^{v_{2}}\right\|_{2}}\end{array}   \quad\quad\quad(3)$

　　其中，$\mathbf{Z}^{v_{1}}$ 和 $\mathbf{Z}^{v_{2}}$ 表示兩個增廣檢視學習到的節點嵌入。$\mathrm{MLP}_{1}$ 和 $\mathrm{MLP}_{2}$ 具有相同體系結構，但引數不共享，因此 $\mathbf{Z}^{v_{1}}$ 和 $\mathbf{Z}^{v_{2}}$ 在訓練過程中會包含不同的語義資訊。

　　此外，簡單地在 $\mathbf{Z}^{v_{2}}$ 中加入隨機高斯噪聲，進一步保持了兩種檢視之間的差異：

　　　　$\mathbf{Z}^{v_{2}}=\mathbf{Z}^{v_{2}}+\mathbf{N}   \quad\quad\quad(4)$

　　其中，$\mathbf{N} \in \mathbb{R}^{N \times d}$ 從高斯分佈 $\mathcal{N}(0, \sigma)$ 中取樣。總之，通過設計引數非共享編碼器，直接破壞節點嵌入，而不是對圖引入複雜的資料增強，構造了兩個增強檢視 $\mathbf{Z}^{v_{1}} $ 和 $\mathbf{Z}^{v_{2}} $，從而提高了訓練效率。此外，[17,28,32]最近的研究表明，圖上的複雜資料擴充，如加邊、掉邊和圖擴散，可能會導致語義漂移。

　　隨後，設計了一種新的面向鄰居的對比損失來保持橫檢視結構的一致性。具體地，計算 $\mathbf{Z}^{v_{1}}$ 和 $\mathbf{Z}^{v_{2}}$ 之間的交叉視點樣本相似矩陣 $\mathbf{S} \in \mathbb{R}^{N \times N} $：

　　　　$\mathbf{S}_{i j}=\mathbf{Z}_{i}^{v_{1}} \cdot\left(\mathbf{Z}_{j}^{v_{2}}\right)^{\mathrm{T}}, \forall i, j \in[1, N]      \quad\quad\quad(5)$

　　其中，$\mathbf{S}_{i j}$ 表示第一個檢視中第 $i$ 個節點嵌入與第二個檢視中第 $j$ 個節點嵌入的餘弦相似度。然後，我們強制交叉檢視樣本相似度矩陣 $\mathbf{S}$ 等於自環鄰接矩陣 $\widehat{\mathbf{A}} \in \mathbb{R}^{N \times N}$，公式如下：

　　　　$\begin{aligned}\mathcal{L} &=\frac{1}{N^{2}} \sum\limits _{(\mathbf{S}-\widehat{\mathbf{A}})^{2}} \\&=\frac{1}{N^{2}}\left(\sum\limits _{i} \sum\limits _{j} \mathbb{1}_{i j}^{1}\left(\mathbf{S}_{i j}-1\right)^{2}+\sum\limits _{i} \sum\limits _{j} \mathbb{1}_{i j}^{0} \mathbf{S}_{i j}^{2}\right)\end{aligned}   \quad\quad\quad(6)$

　　其中，$\mathbb{1}_{i j}^{1}$ 表示 $\widehat{\mathbf{A}}_{i j}=1$，$\mathbb{1}_{i j}^{0}$ 表示 $\widehat{\mathbf{A}}_{i j}=0$。在這裡，將交叉檢視同一節點的鄰居視為正樣本，而將其他非鄰居節點視為負樣本。然後把正樣本拉在一起，同時推開負樣本。更準確地說，在 $\text{Eq.6}$ 中，第一項迫使節點即使在兩個不同的檢視中也與它們的鄰居保持一致，而第二項則使節點與其非鄰居之間的一致最小化。

2.5 Fusion and Clustering

　　在本節中，以線性的方式融合節點嵌入的兩個增強檢視，公式如下：

　　　　$\mathbf{Z}=\frac{1}{2}\left(\mathbf{Z}^{v_{1}}+\mathbf{Z}^{v_{2}}\right)    \quad\quad\quad(7)$

　　其中，$\mathbf{Z} \in \mathbb{R}^{N \times d}$ 表示生成的面向聚類的節點嵌入。然後在 $\mathbf{Z}$ 上直接執行K-means演算法，得到聚類結果。

2.6 Algorithm

　　SCGC 演算法如下：

　　 

3 Experiment 

資料集

　　

聚類實驗

　　

時間成本和GPU記憶體成本

　　

　　

消融實驗

　　

　　

4 Conclusion

　　本文提出了一種對比深度圖聚類方法，即簡單對比圖聚類(SCGC)，從網路架構、資料增強和目標函式等方面改進了現有的方法。至於架構我們的網路主要包括預處理和網路骨幹兩個部分。具體地說，一個簡單的低通去噪操作將鄰居資訊聚合作為一個獨立的預處理。通過該操作，我們有效地過濾掉了屬性中的高頻噪聲，從而提高了聚類效能。此外，只有兩個mlp作為骨幹。對於資料增強，我們通過設定引數非共享的編碼器和破壞節點嵌入來構造不同的圖檢視，而不是在圖上引入複雜的操作。此外，我們提出了一種新的面向鄰居的對比損失來保持橫檢視結構的一致性，從而提高了網路的鑑別能力。得益於SCGC的簡單性，它不需要預訓練，並且節省了網路訓練的時間和空間。值得注意的是，我們的演算法優於最近的對比深度聚類競爭對手，平均加速速度至少為7倍。在7個資料集上的大量實驗結果證明了SCGC的有效性和優越性。今後，為大規模圖資料設計深度圖聚類方法是值得嘗試的。

5 Reference

[2] Structural deep clustering network
[4] Multi-view attribute graph convolution networks for clustering
[5] Adaptive graph encoder for attributed graph embedding
[11] Contrastive multi-view representation learning on graphs
[15] Variational graph auto-encoders
[17] Augmentation-Free Self-Supervised Learning on Graphs
[18] Deeper insights into graph convolutional networks for semi-supervised learning
[20] Multilayer Graph Contrastive Clustering Network
[21] Deep Graph Clustering via Dual Correlation Reduction
[22] Improved Dual Correlation Reduction Network
[25] Learning graph embedding with adversarial training methods
[26] Symmetric graph convolutional autoencoder for unsupervised graph representation learning
[27] Attention-driven Graph Clustering Network
[29] Adversarial graph embedding for ensemble clustering
[33] Deep Fusion Clustering Network
[39] Attributed graph clustering: A deep attentional embedding approach.
[40] Mgae: Marginalized graph autoencoder for graph clustering
[44] Simplifying graph convolutional networks
[46] Self-supervised Contrastive Attributed Graph Clustering
[47] Multi-view graph embedding clustering network: Joint self-supervision and block diagonal representation
[55] Graph debiased contrastive learning with joint representation clustering.