Note：[ wechat：Y466551 | 可加勿騷擾，付費諮詢 ] 2024年4月3日15:39:16
論文資訊
論文標題：An Empirical Study of Graph Contrastive Learning
論文作者：
論文來源：2021 NeurIPS
論文地址：download
論文程式碼：download
視屏講解：click
1-摘要
圖對比學習（GCL）為沒有人工註釋的圖表示建立了一個新的正規化。雖然最近已經看到了顯著的進展，但GCL背後的成功仍然有些神秘。在這項工作中，我們首先確定了一般GCL正規化中的幾個關鍵的設計考慮因素，包括增強函式、對比模式、對比目標和負挖掘技術。然後，為了理解不同GCL元件之間的相互作用，我們在不同領域的資料集上對一組基準任務進行了廣泛的受控實驗。我們的實證研究表明，一套有效的GCL的一般收益，例如，產生稀疏圖檢視的簡單拓撲增強帶來了有希望的效能改進；對比模式應該與最終任務的粒度對齊。此外，為了促進未來的研究和簡化GCL演算法的實現，我們開發了一個易於使用的PyGCL庫，具有模組化的CL元件、標準化的評估和實驗管理。我們設想這項工作將為有效的GCL演算法提供有用的經驗證據，併為未來的研究提供一些見解。
2-介紹
該論文從4個方面闡述圖對比方法：主要看到底哪些因素提高了模型的效能。
- 資料增強函式
- 對比模式
- 對比目標
- 負樣本挖掘策略
並嘗試回答以下問題：
-
- 什麼元件是一個有效GCL所必備的？
- 不同的設計考慮如何影響模型效能？
- 這些設計考慮有助於某些資料型別或下游任務嘛？
有些經驗：
-
- GCL 最好的增強方式是圖拓撲結構，比如產生一些稀疏的圖。除此之外雙層增強在拓撲和特徵上也能進一步增強效能。
- 相同尺度的對比模式是可取的，可根據下游任務的粒度選擇。
- InfoNCE 的目標函式模型較為穩定，可在所有設定下保持好的效能。但是要求大量的負樣本。
- 最近一些無負樣本的模型可以減少計算複雜度而不降低效能。
- 當前的負樣本挖掘策略都是基於一些相似性，侷限了進一步提高模型效能。
3-主體
3.1 GCL 框架
GCL 模型框架：
GCL 四個主要成分：
-
- data augmentation functions
- contrastive mode
- contrastive objective
- negative mining strategies
3.2 資料增強
- 拓撲結構增強：
- Edge Removing (ER)
- Edge Adding (EA)
- Edge Flipping (EF)
- Node Dropping (ND)
- Subgraph induced by Random Walks (RWS)
- diffusion with Personalized PageRank (PPR)
- diffusion with Markov Diffusion Kernels (MDK)
- 特徵增強：
- Feature Masking (FM)
- Feature Dropout (FD)
3.3 對比模式
對比模式根據粒度劃分：
- local-local CL
- global-global CL
- global-local CL
△ 只有 local-local CL 和 global-local CL 適用於節點資料集，其中所有這三種模式都可以用於圖資料集。
3.4 對比目標
- Information Noice Contrastive Estimation (InfoNCE)
- Jensen-Shannon Divergence (JSD)
- Triplet Margin loss (TM)
- the Bootstrapping Latent loss (BL)
- Barlow Twins (BT) loss
- VICReg loss
3.5 負取樣策略
- Hard Negative Mixing (HNM)
- Debiased Contrastive Learning (DCL)
- Hardness-Biased Negative Mining (HBNM)
- Conditional Negative Mining (CNM)
4-實驗
模型總結
4.1 資料增強實驗
首先研究了資料增強如何影響GCL的效能。具體來說，應用不同的資料增強函式來生成兩個檢視，利用InfoNCE目標，並對比區域性-區域性（節點）表示。
結果：
觀察一：拓撲增強對模型效能的影響極大。生成更稀疏圖的增強函式通常會導致更好的效能。
Table 3 總結了使用不同的拓撲結構和特徵增強的結果。很明顯，GCL的效能高度依賴於拓撲增強函式的選擇。我們觀察到，刪除邊的模型（ER、MDK、ND、PPR和RWS）與新增邊的模型（EA）相比，通常可以獲得更好的效能，這表明增強函式產生更稀疏的圖檢視是更好的。我們還發現，RWS 在節點資料集上取得了更好的效能，而 ND 更傾向於圖任務。我們注意到，儘管隨機遊走抽樣能夠更好地提取區域性結構模式，但我們研究中使用的圖資料集具有相對較小的尺度（每個圖<500個節點）。因此，這些基於隨機遊走的取樣策略可能會受到限制，而一個簡單的節點刪除（ND）方案在圖級任務上通常優於其他增強方案。
為了瞭解結果檢視的稀疏性如何影響效能，我們透過改變 CS 資料集上的 減少/新增 機率，進一步對三個分別增強了 ND、ER 和 EA 的模型進行了敏感性分析。預測精度和所生成的圖中的邊的總數如 Figure 2 所示。如 Figure 2 所示，當新增更多的邊時，EA 增強的效能會大大降低。一般來說，這些結果與我們的觀察結果一致，即許多真實世界的圖本質上是稀疏的[36,37]。當新增了太多的邊時，它們會連線語義上不相關的節點，給生成的圖檢視帶來噪聲，從而降低學習到的嵌入的質量。
觀察二：特徵增強為GCL帶來了額外的好處。在結構和特徵水平上的成分增強對GCL的好處最大。
從表3中，我們觀察到，僅使用特徵增強的模型的效能不如使用拓撲增強的模型，但仍然高於基線效能。這兩種特徵增強方案所帶來的改進可以從事實出發來解釋，FM和FD類似於在輸入層上應用輟學[38]技術。此外，我們還看到，在一般情況下，FM的效能略優於FD，這表明對所有節點特徵使用共享特性掩碼，儘管它們的效能差異沒有那麼顯著。此外，Figure 3 給出了在拓撲級別和特徵級別上進行混合增強時的結果。很明顯，除了結構增強之外，使用特徵增強也有利於GCL，這表明拓撲和結構對於學習圖表示都很重要。
觀察三：確定性增強方案應伴隨著隨機增強。
在 Table 3 中，我們發現僅使用兩個確定性增強函式PPR和MDK並不總是能帶來很好的效能。我們還發現，在先前的研究中，[14]通常利用確定性增強後的隨機增強。因此，我們利用另一組隨機和確定性增強的聯合增強，其中的效能總結如 Figure 4 所示。可以看出，該聯合方案在很大程度上提高了普通的確定性增強量。回想一下，我們的對比目標本質上是為了區分來自資料分佈的樣本和來自一些噪聲分佈[39,40]的樣本。因此，需要一種隨機增強方案來更好地近似該噪聲分佈。
4.2 對比模式 和 對比目標
我們首先用基於負樣本的對比目標進行實驗：資訊噪聲對比估計（InfoNCE）、Jensen-Shannon發散（JSD）和三重邊際損失（TM）損失。除了依賴於負樣本的對比目標外，我們還研究了三個無負樣本的目標：Bootstrapping Latent (BL) loss、Barlow Twins (BT) loss、VICReg loss。Table 4 顯示了無監督分類任務的實驗結果。需要注意的是，Barlow Twins (BT) 、 VICReg losses 需要計算潛在嵌入向量的協方差，因此這兩個目標與全域性-區域性模式不相容。
觀察四：相同規模的對比通常表現得更好。不同粒度的下游任務有利於不同的對比模式。
此外，對比模式應根據結束任務的粒度來選擇，即節點級任務區域性區域性區域性，圖級任務全域性全域性。根據所提出的規定結果，最近的研究表明，[45–47]在學習視覺表徵方面也做出了類似的發現。他們證明，在例項級的藉口任務上進行預訓練（即在同一批中對比影像級嵌入），當前的CL模型在細粒度的下游任務中實現了次優效能，例如，需要畫素級細節的語義分段。
觀察五：在基於負樣本的目標中，使用InfoNCE目標導致所有環境的持續改進。
表4a表明，InfoNCE在需要負樣本的對比目標中取得了最好的效能，這被最近的許多方法[4,7,8,48,49]證明是有效的。表4a表明，InfoNCE在需要負樣本的對比目標中取得了最好的效能，這被最近的許多方法[4,7,8,48,49]證明是有效的。我們觀察到，隨著τ的增加，效能先提高，後降級，效能波動不大。Wang和Liu [50]認為，隨著τ的增加，InfoNCE目標對硬負面因素的關注較少。這種硬度感知行為表明了在GCL上分離最難陰性樣品（τ→0 +）和全域性均勻性（τ→∞）之間取得平衡的重要性。
觀察六：Bootstrapping Latent 和 Barlow Twins losses 獲得了與基於負樣本的同類產品相同的良好效能，但在沒有顯式負樣本的情況下減少了計算負擔。
令人驚訝的是，我們發現使用這些無負樣本目標獲得的效能有時甚至超過基於負樣本的目標，這表明了更有效的解決方案。與基於負樣本的目標相反，BL、BT和VICReg損失避免了顯式負樣本的需要，從而大大減少了計算負擔。為了看到這一點，我們在表5中總結了記憶體消耗，從中我們清楚地觀察到，這三種損失比其他沒有負樣本的目標使用的記憶體要少得多。
4.3 負取樣策略
我們首先探討了在對比目標之上的負挖掘策略的顯式使用，它本質上測量每個負對的相似性（硬度）和提高硬負樣本。在研究的負挖掘策略中，DCL開發了退化術語來選擇真正的負樣本，以避免對比同標籤例項；其他策略提出增加硬負樣本（難以與錨點區分的點），並去除資訊較少的簡單樣本，以提高GCL模型的鑑別能力。
觀察七：現有的基於嵌入相似度計算的負向挖掘技術對GCL的好處有限。
我們使用InfoNCE目標的區域性-區域性模式，在3個節點分類資料集（由於物理上的記憶體不足錯誤）上訓練4個模型。很明顯，本實驗中研究的四種負採礦策略對GCL的改善有限。雖然在某些超引數配置下可以觀察到輕微的改進，這證明了硬負數的顯式建模對GCL是有用的，但它們的效能通常很少與其他對比目標所報告的最佳效能相匹配(cf。表4a)。
我們注意到，在現有的負取樣技術的配方中，樣品的硬度是透過樣品嵌入的內積來測量的。由於我們處於一個完全沒有監督的環境中，在培訓期間不能訪問標籤（即類）資訊。在現有的對比模式下，對於一個錨定樣本，對比目標會推開所有不同的表示，而不考慮它們的真實語義關係。更糟糕的是，大多數GNN模型傾向於對相鄰節點產生類似的嵌入，而不管語義類是[51–54]，這可能會進一步偏向於硬否定的選擇。因此，我們認為語義相似性與例項硬度之間存在分歧。透過僅僅根據嵌入的相似性度量來選擇硬負樣本，這些硬負樣本都是潛在的正樣本，從而對對比目標產生不利的學習訊號。一個說明性的例子和更詳細的討論，請參考附錄d。我們發現我們的發現讓人想起最近的一個研究視覺CL [50]，建議一個自適應排程方案的溫度引數當使用InfoNCE作為對比的目標，這樣，困難但假陰性可以容忍培訓的進展。