論文解讀（SGDA）《Semi-supervised Domain Adaptation in Graph Transfer Learning》

Note：[ wechat：Y466551 | 可加勿騷擾，付費諮詢 ]

論文資訊

論文標題：Semi-supervised Domain Adaptation in Graph Transfer Learning
論文作者：
論文來源：2024 aRxiv
論文地址：download
論文程式碼：download
視屏講解：click

1-摘要

　　作為圖轉移學習的一個特殊情況，圖上的無監督域自適應的目的是將知識從標籤豐富的源圖轉移到未標記的目標圖。然而，具有拓撲結構和屬性的圖通常具有相當大的跨域差異，而且在許多現實場景中，源圖中只標記了一個節點的子集。由於嚴重的領域轉移和標籤稀缺，這給圖轉移學習帶來了關鍵的挑戰。為了解決這些挑戰，我們提出了一種被稱為半監督圖域自適應（SGDA）的方法。為了處理域移位，我們在每個源節點上新增自適應移位引數，以對抗的方式進行訓練，對齊節點嵌入的跨域分佈，從而將在標記源節點上訓練的節點分類器轉移到目標節點。此外，為了解決標籤稀缺問題，我們提出了在未標記節點上的偽標記，透過基於節點與類中心的相對位置測量節點的後驗影響，改進了對目標圖的分類。最後，在一系列公開可訪問的資料集上進行的大量實驗驗證了我們提出的SGDA在不同實驗設定下的有效性。

2-介紹

　　節點分類的半監督域自適應框架必須解決兩個基本問題：

　　問題1：如何克服一個重要的域位交叉圖給出域不變預測？源圖和目標圖之間的域轉移大致分為以下兩個檢視中：圖的拓撲結構和節點屬性。例如，不同的圖可能具有不同的連結密度和子結構模式，而來自不同來源的手工節點屬性可能單獨有顯著的偏差。這比傳統資料帶來了更多可觀的領域轉移。

　　問題2：如何減輕分類器的標籤稀缺，以給出準確的標籤鑑別預測？

　　由於目標圖是完全未標記的，現有的工作只執行域對齊，而沒有考慮到整體分佈可能會很好地對齊，但類級分佈可能不能很好地匹配分類器。更糟糕的是，源圖只有一部分節點標籤可用，阻礙了有效的分類器學習。因此，利用圖的拓撲結構來提高分類器對未標記節點的鑑別能力是至關重要的。

　　貢獻：

• • 為了消除域位移交叉圖，我們在源圖編碼上引入了域位移引數的概念，並提出了一個對抗性變換模組來學習域不變節點嵌入；
  • 為了緩解標籤的稀缺性，我們提出了一種新的偽標記方法，利用後驗評分來監督未標記節點的訓練，提高了模型在目標圖上的識別能力；
  • 在各種圖形傳輸學習基準資料集上的大量實驗證明了我們的SGDA優於最先進的方法。

3-方法

　　模型框架

　　

　　主要模組：

1. 1. 節點嵌入泛化。充分探索兩個圖中的高階結構化資訊，以學習廣義節點表示；
   2. 對抗性轉換。為了消除源圖和目標圖之間嚴重的域差異，我們在源圖中引入自適應分佈的位移引數，對域鑑別器以對抗的方式進行訓練。因此，源圖配備了目標分佈。
   3. 使用後驗評分的偽標記。為了緩解標籤稀缺，我們提出了所有未標記節點跨域的偽標記損失，透過根據節點與類質心的相對位置自適應測量節點的影響，改進了對目標圖的分類。

3.1 節點嵌入泛化

　　考慮到模型需要進行跨域轉移，且分類任務中的標籤數量有限，學習廣義節點嵌入對於這種域自適應過程至關重要。鑑於此，我們計算了節點間的正點態互資訊，以充分探索高階無標記圖拓撲資訊，並使用圖卷積網路將節點編碼為廣義低維嵌入。

　　給定圖 $G=\{A, X\}$ ，在鄰接矩陣 $A$ 上使用隨機遊走獲得共現頻率矩陣 $F \in \mathbb{R}^{N \times N}$，$F_{i j}$ 計算了節點 $n_j$ 出現在節點 $n_i$ 的上下文次數。

　　節點間的正互資訊為：

　　　　$\begin{array}{c}\mathbb{P}_{i j}=\frac{F_{i j}}{\sum_{i, j} F_{i j}}, \mathbb{P}_{i}=\frac{\sum_{j} F_{i j}}{\sum_{i, j} F_{i j}}, \mathbb{P}_{j}=\frac{\sum_{i} F_{i j}}{\sum_{i, j} F_{i j}}, \\P_{i j}=\max \left\{\log \left(\frac{\mathbb{P}_{i j}}{\mathbb{P}_{i} \times \mathbb{P}_{j}}\right), 0\right\},\end{array} \quad(1)$

　　$P_{ij}$ 是 $n_i$ 和 $n_j$ 之間的正互資訊，它反映了節點之間的高階拓撲接近性，因為它假設如果兩個節點有高頻共現，則 $P_{ij}$ 應該大於預期獨立的 $P_i$ 、$P_j$ 。

　　使用 $P_{ij}$ 作為新的鄰接矩陣，得到節點表示：

　　　　$\begin{aligned}H^{(l)} & =\operatorname{Conv}^{(l)}\left(P, H^{(l-1)}\right) \\ & =\sigma\left(D^{-\frac{1}{2}} \widetilde{P} D^{-\frac{1}{2}} H^{(l-1)} W^{(l)}\right)\end{aligned} \quad(2)$

3.2 透過偏移實現對抗轉換

　　大多數方法試圖透過最佳化特徵編碼器本身來匹配嵌入空間分佈。然而，具有非歐幾里得拓撲結構的圖通常比傳統資料具有更大的輸入差異。僅使用編碼器中的引數（例如，gnn）可能不足以精細地改變分佈。透過在輸入空間上新增可訓練引數（如傳輸、擾動）來執行轉換已被證明可以有效地將一個分佈轉移到另一個分佈。需要注意的是，我們提出了一個對抗性變換模組，其目的是在源圖上新增移位引數來修改其分佈，並使用對抗性學習來訓練圖編碼器和移位引數來對齊跨域分佈。

　　$H^{s,(l)}=\left\{\begin{array}{ll}\operatorname{Conv}^{(l)}\left(P^{s}, X^{s}\right)+\xi^{(l)} & l=1 \\\operatorname{Conv}^{(l)}\left(P^{s}, H^{s,(l-1)}\right)+\xi^{(l)} & 1<l \leq L\end{array}\right. \quad(3)$

　　對抗目標：

　　　　$\begin{array}{c}\underset{\theta, \boldsymbol{\xi}}{\text{max}} \left\{\min _{\phi_{d}}\left\{\mathcal{L}_{A T}\left(H^{s, \xi}, H^{t} ; \phi_{d}\right)\right\}\right\} \\\text { s.t., }\left\|\xi^{(l)}\right\|_{F} \leq \epsilon, \forall \xi^{(l)} \in \boldsymbol{\xi} .\end{array} \quad(4)$

　　　　$\begin{aligned}\mathcal{L}_{A T}= & -\mathbb{E}_{h_{i}^{s, \xi} \sim \mathcal{H}^{s, \xi}}\left[\log \left(\mathcal{D}_{d}\left(h_{i}^{s, \xi}, \phi_{d}\right)\right)\right] -\mathbb{E}_{h_{j}^{t} \sim \mathcal{H}^{t}}\left[\log \left(1-\mathcal{D}_{d}\left(h_{j}^{t}, \phi_{d}\right)\right)\right]\end{aligned} \quad(5)$

3.3 帶有後驗評分的偽標記

　　源域節點監督損失：

　　　　$\mathcal{L}_{\text {Sup }}=-\frac{1}{\left|\mathcal{V}^{s, l}\right|} \sum_{n_{i} \in \mathcal{V}^{s, l}} \sum_{k=1}^{C} y_{i, k} \log \left(p_{i, k}^{s}\right) \quad(6)$

　　對源域和目標域所有沒有標籤的節點計算偽標籤：

　　我們假設圖上靠近其偽標籤簇的結構質心的節點更有可能被正確分類，而靠近簇邊界的偽標籤的節點則不太可靠。在此基礎上，我們將前節點的偽標籤視為更高質量的自監督訊號，旨在提高這些節點嵌入的識別能力。因此，我們引入一個後驗得分來定義 $n_i$ 如何接近其在第4.1節中計算的重構鄰接矩陣P上的偽標籤簇的結構質心：

　　　　$w_{i}=\sum_{j=1}^{N}\left(P_{i j} * P_{\mathcal{C}_{\widehat{y}_{i}}, j}-\frac{1}{C-1} \sum_{k=1, k \neq \widehat{y}_{i}}^{C} P_{i j} * P_{\mathcal{C}_{k}, j}\right) \quad(7)$

　　其中，$P_{\mathcal{C}_{\widehat{y}_{i}}, j}=\frac{1}{\left|\mathcal{C}_{\widehat{y}_{i}}\right|} \sum_{x \in \mathcal{C}_{\widehat{y}_{i}}} P_{x, j}$

　　然後，使用 餘弦退火將 $w_i$ 擴充套件到固定的尺度：

　　　　$\widehat{w}_{i}=\alpha+\frac{1}{2}(\beta-\alpha)\left(1+\cos \left(\frac{\operatorname{Rank}\left(w_{i}\right)}{|\mathcal{V}|} \pi\right)\right) \quad(8)$

　　偽標籤損失：

　　　　$\mathcal{L}_{P L}=-\frac{1}{|\mathcal{V}|} \sum_{n_{i} \in \mathcal{V}} \widehat{w}_{i} \sum_{k=1}^{C} \widehat{y}_{i, k} \log \left(p_{i, k}\right)+\sum_{k=1}^{C} \widehat{p}_{k} \log \widehat{p}_{k} \quad(9)$

3.4 訓練目標

　　訓練目標：

　　　　$\begin{array}{c}\underset{\theta, \boldsymbol{\xi}, \phi_{c}}{\text{min}}\left\{\mathcal{L}_{S u p}+\lambda_{1} \mathcal{L}_{P L}+\lambda_{2} \max _{\phi_{d}}\left\{-\mathcal{L}_{A T}\right\}\right\}, \\\text { s.t., }\left\|\xi^{(l)}\right\|_{F} \leq \epsilon, \forall \xi^{(l)} \in \boldsymbol{\xi}\end{array} \quad(10)$

4-實驗

4.1 消融實驗