生成對抗網路（GAN）是一類無監督的生成模型 [1]。GAN 涉及對抗地訓練生成器和鑑別器模型，使得生成器可以從期望的資料分佈中生成樣本。訓練 GAN 具有挑戰性，因為它涉及在高維引數空間中搜尋非凸博弈的納什均衡。在實踐中，GAN 通常使用交替的隨機梯度下降進行訓練，這通常是不穩定的並且缺乏理論保證 [2]。因此，訓練可能表現出不穩定性、發散、迴圈行為或模式崩潰 [3]。為此，人們提出了許多穩定 GAN 訓練的技術 [4,5,6,7,8,9,10]。導致訓練不穩定的主要原因是生成器和鑑別器在非靜態環境中學習。因為鑑別器是一種分類器，其中一類（假樣本）的分佈隨著生成器在訓練期間改變而改變。
在非穩態線上環境中，神經網路忘記了以前的任務 [11,12,13]。如果鑑別器忘記了先前的分類邊界，則訓練可能變得不穩定或迴圈。這個問題通常透過重複使用舊樣本或應用連續學習技術來解決 [14,15,16,17,18,19]。在複雜資料集下，這些問題變得更加突出。其中的關鍵技術是條件化 [9,20,21,22]，由此生成器和鑑別器都可以訪問標記資料。可以說，用監督資訊增強鑑別器可以鼓勵它學習更穩定的表徵，防止災難性的遺忘。此外，學習每個類的條件模型比學習聯合分佈更容易。此設定的主要缺點是標記資料的必要性。即使標記資料可用，它通常也是稀疏的，僅涵蓋數量有限的高階抽象概念。
受上述挑戰的驅使，來自 UCLA 與谷歌大腦的研究者的目標是表明人們可以在不需要標記資料的情況下實現條件化的好處。為了確保鑑別器學習的表徵更穩定和有用，研究者為鑑別器新增輔助的自監督損失。這實現了更穩定的訓練，因為鑑別器表徵對生成器輸出質量的依賴性降低。研究者引入了一種新的模型：自監督的 GAN（self-supervised GAN，SS-GAN），其中生成器和鑑別器在表徵學習的任務上合作，並在生成任務上進行競爭。
本研究的貢獻：研究者提出了一種無監督的生成模型，它將對抗訓練與自監督學習相結合。該模型實現了條件 GAN 的優勢，但不需要標記資料。特別是，在相同的訓練條件下，自監督的 GAN 彌補了無條件和條件模型之間的自然影像合成的差距。在此設定中，鑑別器表徵的質量大大提高，這在遷移學習中可能會有潛在的應用價值。該模型實現了大規模無條件 ImageNet 影像生成。研究者認為，這項工作是朝著高質量、完全無監督、自然影像合成方向邁出的重要一步。
圖 1：具有基於旋轉的自監督的鑑別器。鑑別器 D 執行兩項任務：真 VS 假的二值分類，以及旋轉角度分類。真影像和假影像都分別旋轉了 0°、90°、180°和 270°。彩色箭頭表示只有直立的影像被用於真假分類損失任務中。至於旋轉損失，所有的影像都需要讓鑑別器根據其旋轉程度進行分類。
圖 2：線性分類模型效能，該模型利用鑑別器的最後一層提取的表徵在 ImageNet 上訓練。Uncond-GAN 表示無條件 GAN。SS-GAN 表示新增自監督時的相同模型。對於 Uncond-GAN，該表徵收集關於影像類別的資訊並提高了準確率。然而，在 50 萬次迭代後，表徵損失了類別資訊，同時效能開始下降。SS-GAN 緩解了這個問題。
表 1：透過三個隨機種子獲得最佳 FID。在這種情況下，本文提出的方法實現了條件化的大部分好處。
研究者擴大了 SS-GAN 的訓練，以獲得無條件生成 ImageNet 的最佳 FID。研究者在 Google TPU v3 Pod 的 128 個核心上，使用了 1024 的批次，以 350,000 步訓練所提出的模型，並獲得了 33.5 的 FID 分數。附錄中提供了架構的詳細資訊。
圖 5 顯示了模型生成的影像的隨機樣本。在 ImageNet 上無條件訓練比有條件訓練要難得多，因此，現有的相關技術並不多。使用自迴歸模型的無條件 ImageNet 生成結果已經出現，但並沒有報導 FID 分數 [34]。透過使用很多附加的技巧和技術，一個基於條件生成的最新方法透過大規模訓練已經獲得了 9.6 的 FID 分數。雖然本文的無條件模型仍然遠遠落後於此，但在第 4.2 節的結果表明，在相同條件下，SS-GAN 和條件 GAN 的效能相當。這一方法有望在將來獲得與無條件模型相當的分數。這是在 ImageNet 上無條件訓練獲得的最佳結果。
圖 5：自監督模型無條件生成影像的隨機樣本（非隨機樣本）。雖然本文的無條件模型可以明顯改進，但 4.2 節中的結果表明，在相同條件下，本文提出的方法可以與條件模型對應的方法效能相當。這是在 ImageNet 上無條件訓練獲得的最佳結果。
論文：Self-Supervised Generative Adversarial Networks
論文地址：https://arxiv.org/abs/1811.11212
摘要：條件 GAN 正處於自然影像合成的最前沿。這種模型的主要缺點是標記資料的必要性。在這本文中，我們利用兩種流行的無監督學習技術：對抗訓練和自監督，來縮小條件和無條件 GAN 之間的差距。特別是，我們允許網路在表徵學習任務上進行協作，同時利用經典的 GAN 機制進行對抗訓練。自監督的作用是鼓勵鑑別器學習有意義的特徵表徵，這些表徵在訓練期間不會被遺忘。我們透過實驗測試了學習到的影像表徵的質量和合成影像的質量。在相同條件下，自監督的 GAN 獲得了與最先進的條件 GAN 相似的效能。這種完全無監督學習的方法擴充套件到無條件 ImageNet 生成時可以達到 33 的 FID 分數。