論文資訊
論文標題：Efficient and Robust Pseudo-Labeling for Unsupervised Domain Adaptation
論文作者：Hochang Rhee、Nam Ik Cho
論文來源：2019——ICML
論文地址：download
論文程式碼：download
視屏講解：click
1 摘要
問題：無監督域適應傳統方法將超過一定置信度閾值的資料視為目標域的偽標記資料，因此選擇合適的閾值會影響目標效能。
在本文中，提出了一種新的基於置信度的加權方案來獲得偽標籤，並提出了一種自適應閾值調整策略，以在整個訓練過程中提供足夠和準確的偽標籤。 準確地說，基於置信度的加權方案根據置信度生成偽標籤具有不同的貢獻，這使得效能對閾值不太敏感。 此外，所提出的自適應閾值調整方法根據網路對目標域的適應程度來選擇閾值，從而避免了對適當閾值的窮舉搜尋的需要。
2 介紹
背景
偽標記[21] 是對未標記資料進行人工標記，將無監督學習轉化為半監督學習的過程。 本文遵循的前提，即具有高置信度輸出的樣本可以用作準確的標籤 [22]、[23]。 具體來說，置信度超過某個閾值的未標記樣本被視為真實標籤，稱之為偽標籤。 偽標記技術的效能在很大程度上依賴於閾值，其中選擇合適的閾值對於實現高效能至關重要。 高閾值會導致更準確的偽標籤，從而獲得高效能，但也會導致標籤不足。 另一方面，低閾值會導致大量偽標籤，但也會因偽標籤不準確而導致效能不佳。 因此，找到合適的閾值以實現高效能是偽標記中的一個主要問題。
此外，傳統方法不是在整個訓練過程中固定閾值，而是隨著訓練的進行不斷增加閾值 [18]-[20]。 隨著訓練的進行，網路會適應目標域，這意味著與訓練的早期階段相比，將生成更多具有高置信度的偽標籤。 當訓練進行到一定程度時，即使閾值很高，網路也能夠提供足夠的偽標籤。 因此，網路專注於透過在整個訓練過程中增加閾值來生成準確的偽標籤。然而，上述關於閾值選擇的方法具有侷限性。
首先，效能對閾值極其敏感，閾值的微小差異會產生巨大的負面影響。 進行詳盡搜尋以找到正確的閾值，這很耗時並且需要針對不同的資料集單獨完成。其次，先前的工作根據源域訓練的進度或網路的準確性調整閾值。儘管偽標籤是從目標域樣本生成的，但閾值對目標域沒有依賴性。
為了克服傳統方法的上述侷限性，我們提出了一種基於置信度的加權方案來構建偽標籤和一種自適應閾值調整方法。 我們基於置信度的加權方案限制了高閾值和低閾值的缺點。 我們為具有高置信度的偽標籤賦予高權重，為低置信度賦予低權重。 因此，效能對閾值變得不那麼敏感，從而避免了對適當閾值進行詳盡搜尋的需要。 此外，所提出的自適應閾值調整方法根據網路對目標域的適應程度來選擇閾值。 閾值變得依賴於目標域，獎勵目標域以在整個訓練過程中生成足夠和準確的偽標籤。 透過所提出的方法，網路能夠以自適應方式調整閾值，而無需窮舉搜尋。
3 方法
整體框架：
判別器的目標函式：
$\begin{array}{l}L_{D}= \underset{W^{D}}{\text{min}}\left(\sum_{x^{s} \in X_{s}} H\left(D\left(z^{s}\right), y^{s d}\right)\right.\left.+\sum_{x^{t} \in X_{t}} H\left(D\left(z^{t}\right), y^{t d}\right)\right) \\\end{array} \quad\quad(1)$
其中，$y^{sd}$ 和 $y^{td}$ 是二分類域標籤；
編碼器的目標函式：
$L_{G}=\min _{W^{E}}\left(\sum_{x^{t} \in X_{t}} H\left(D\left(z^{t}\right), y^{s d}\right)\right) \quad\quad(2)$
編碼器 $\text{E}$ 和分類器 $\text{C}$ 的目標函式：
$\begin{array}{c}L_{C}=\underset{W^{E}, W^{C}}{\text{min}} \left(\sum_{x^{s} \in X^{s}} H\left(C\left(z^{s}\right), y^{s}\right)\right.\left.+\sum_{\hat{x}^{t} \in \hat{X}_{t}} H\left(C\left(\hat{z}^{t}\right), \hat{y}^{t}\right)\right)\end{array}\quad\quad(3)$
4.1 基於置信度的加權方案
當透過類別損失訓練分類器時，先前的工作 [18]-[20] 對每個偽標記樣本的類別損失給出了相同的貢獻，即使樣本的置信度不同。 在高度置信度偽標籤大多正確的前提下[22]，[23]，具有不同置信度的偽標籤對類別損失的貢獻應該不同。 具有高置信度的偽標籤意味著匹配真實標籤的機率很高，這應該對類別損失有很大貢獻。 相反，低置信度的偽標籤有被錯誤標記的風險，這意味著應該對類別損失給予低貢獻以抑制風險。 因此，我們建議賦予偽標籤與其置信度成正比的權重。
本文將完全置信的偽標籤（置信度為 1.0 的標籤）設定為 1.0 的權重，而根據經驗將置信度為閾值的偽標籤設定為與完全置信的偽標籤相比具有一半的貢獻。 也就是說，為偽標籤分配權重為 0.5 的閾值置信度。 本文將偽標籤的權重設定為與偽標籤的置信度成線性比例：
$w\left(x^{t}\right)=\frac{0.5}{1-t h} \operatorname{con} f\left(x^{t}\right)+\frac{0.5-t h}{1-t h}\quad\quad(4)$
其中 $\operatorname{con} f\left(x^{t}\right)$ 表示從分類器匯出的目標樣本 $x_t$ 的置信度，$th$ 表示閾值。
考慮到偽標籤的置信度，我們可以透過應用 $\text{Eq.4}$ 來修改等式 $\text{Eq.3}$ 以重新制定新的類別損失：
$\begin{aligned}L_{C}= \min _{W^{E}, W^{C}}\left(\sum_{x^{s} \in X^{s}} H\left(C\left(z^{s}\right), y^{s}\right)\right. \left.+\sum_{\hat{x}^{t} \in \hat{X}_{t}} w\left(\hat{x}^{t}\right) H\left(C\left(\hat{z}^{t}\right), \hat{y}^{t}\right)\right)\end{aligned} \quad\quad(5)$
透過偽標籤的基於置信度的加權方案，我們能夠減少低閾值和高閾值的缺點。 由低閾值生成的不準確的偽標籤被賦予較小的權重，因此分類器受到的不準確性影響較小。 高閾值經歷了偽標籤的不足，由低閾值提供的偽標籤補償。 結果，網路的效能不會因偽標籤的不準確和不足而顯著下降，這意味著效能對閾值變得不那麼敏感。
4.2 自適應閾值調整
為了關注訓練早期偽標籤的缺乏和後期偽標籤的準確性，許多研究根據訓練的進展增加閾值[19]，[20]。 訓練的進度由當前紀元或網路在源域樣本上的準確性決定。 然而，這些術語不依賴於目標域，因此不能完全反映訓練的進度。 因此，我們提出自適應閾值調整策略，根據模型對目標域的適應程度來設定閾值。 對目標域適應性低的模型不能對目標樣本進行分類，這會導致輸出置信度低，而適應性好的模型則輸出置信度高。 因此，我們將模型對目標域的適應程度視為目標樣本的平均置信度輸出。 基於模型對目標域的置信度的修改閾值表示為：
$t h=\max \left(\frac{\sum_{x^{t} \in X_{t}} \operatorname{con} f\left(x^{t}\right)}{n_{t}}, \alpha\right) \quad\quad(6)$
其中 $n_t$ 表示目標樣本的數量，$\alpha = 0.7$ 表示最小閾值。 確定一個最小閾值，以防止在訓練初期模型對目標域沒有適應性時閾值過低。 太低的閾值會產生許多不準確的偽標籤，這會阻止網路學習目標區分表示。 透過所提出的方法，網路可以自適應地選擇合適的閾值，以在整個訓練過程中保持偽標籤的充分性和準確性。 結果，模型可以對各種資料集和模型容量具有魯棒性。
4.3 總體目標函式
總體目標函式可以表示為
$L= \underset{W^{E}, W^{D}, W^{C}}{\text{min}} \left(L_{E}+L_{D}+\beta L_{C}\right) \quad\quad(7)$
其中 β 是平衡引數。 編碼器和鑑別器以對抗方式進行最佳化，將源樣本和目標樣本對映到公共域表示中。 編碼器和分類器使用源和偽標記樣本進行最佳化，以實現高分類效能。 詳細的最佳化過程如演算法 1 所示。
演算法總結：
5 實驗
視覺化：
6 總結
略