當支援向量機遇上神經網路：這項研究揭示了SVM、GAN、Wasserstein距離之間的關係

機器之心發表於2020-09-02
神經網路
支援向量機（Support Vector Machine，SVM）是大多數 AI 從業者比較熟悉的概念。它是一種在分類與迴歸分析中分析資料的監督式學習模型與相關的學習演算法。給定一組訓練例項，每個訓練例項被標記為屬於兩個類別中的一個或另一個，SVM 訓練演算法建立一個將新的例項分配給兩個類別之一的模型，使其成為非機率二元線性分類器。SVM 模型將例項表示為空間中的點，這樣對映就使得單獨類別的例項被儘可能寬的明顯的間隔分開。然後，將新的例項對映到同一空間，並基於它們落在間隔的哪一側來預測所屬類別。

除了進行線性分類之外，SVM 還可以使用所謂的核技巧有效地進行非線性分類，將其輸入隱式對映到高維特徵空間中。

本文將介紹一篇來自蒙特利爾大學的論文《SVM、Wasserstein 距離、梯度懲罰 GAN 之間的聯絡》。在這篇論文中，研究者闡述瞭如何從同一框架中得到 SVM 和梯度懲罰 GAN。

據論文一作介紹，這項研究的靈感來自她的博士資格考試。在準備過程中，她學習了 SVM，並思考了這個問題：「如果將 SVM 推廣到神經網路會發生什麼？」順著這個思路，研究者發現了 SVM、GAN、Wasserstein 距離之間的關係。

當支援向量機遇上神經網路：這項研究揭示了SVM、GAN、Wasserstein距離之間的關係


  • 論文地址：https://arxiv.org/abs/1910.06922

  • 程式碼地址：https://github.com/AlexiaJM/MaximumMarginGANs


該研究將最大間隔分類器（MMC）的概念擴充套件到任意範數和非線性函式。支援向量機是 MMC 的一個特例。研究者發現，MMC 可以形式化為積分機率度量（Integral Probability Metrics，IPM）或具備某種形式梯度範數懲罰的分類器。這表明它與梯度懲罰 GAN 有直接關聯。

該研究表明，Wasserstein GAN、標準 GAN、最小二乘 GAN 和具備梯度懲罰的 Hinge GAN 中的判別器都是 MMC，並解釋了 GAN 中最大化間隔的作用。研究者假設 L^∞ 範數懲罰和 Hinge 損失生成的 GAN 優於 L^2 範數懲罰生成的 GAN，並透過實驗進行了驗證。此外，該研究還匯出了 Relativistic paired (Rp) 和 average (Ra) GAN 的間隔。

這篇論文共包含幾部分：在第二章中，研究者回顧了 SVM 和 GAN；第三章，研究者概述了最大間隔分類器（MMC）的概念；第四章，研究者用梯度懲罰解釋了 MMC 和 GAN 之間的聯絡。其中 4.1 提到了強制 1-Lipschitz 等價於假設一個有界梯度，這意味著 Wasserstein 距離可以用 MMC 公式來近似估算；4.2 描述了在 GAN 中使用 MMC 的好處；4.3 假定 L1 範數間隔能夠導致更具魯棒性的分類器；4.4 推導了 Relativistic paired GAN 和 Relativistic average GAN 的間隔。最後，第五章提供了實驗結果以支援文章假設。

SVM 是 MMC 的一個特例。MMC 是使間隔最大化的分類器 f（間隔指的是決策邊界與資料點之間的距離）。決策邊界是指我們無法分辨出樣本類別的區域（所有 x 使得 f(x)=0）。

Soft-SVM 是一種特殊情況，它可以使最小 L2 範數間隔最大化。下圖展示了實際使用中的 Soft-SVM：

當支援向量機遇上神經網路：這項研究揭示了SVM、GAN、Wasserstein距離之間的關係


在解釋這一結果之前，我們需要了解一個關鍵要素。關於「間隔」有多種定義：

（1）樣本與邊界之間的最小距離；
（2）距邊界最近的點與邊界之間的最小距離。

定義（2）更為常用。但是如果使用此定義，那麼 SVM 文獻中所謂的「函式間隔（functional margin）」和「幾何間隔（geometric margin）」就都不能被視為間隔。這可能會讓人十分困惑。

理解這種差異更好的一種方式是：

  • 將（1）視為「樣本的間隔」；

  • 將（2）視為「資料集的間隔」。


但是，為了消除這兩種情況的歧義，本文將前者稱為「間隔（margin）」，將後者稱為「最小間隔（minimum margin）」。

Hard-SVM（原始形式）解決了最大化最小間隔的問題。Soft-SVM 解決了另一個更簡單的問題——最大化期望 soft-margin（最小化期望 Hinge 損失）。這個問題很容易解決，hinge 損失確保遠離邊界的樣本不會對假重複 Hard-SVM 效果的嘗試產生任何影響。

從這個角度看，最大化期望間隔（而不是最大化最小間隔）仍會導致最大間隔分類器，但是分類器可能會受到遠離邊界的點的影響（如果不使用 Hinge 損失的話）。因此，最大化期望間隔意味著最大化任何樣本（即資料點）與決策邊界之間的平均距離。這些方法就是最大間隔分類器（MMC）的示例。

為了儘可能地通用化，該研究設計了一個框架來匯出 MMC 的損失函式。研究者觀察到，該框架可以匯出帶有梯度懲罰的基於間隔的目標函式（目標函式 F 的形式為 F(yf(x))）。這就意味著標準 GAN、最小二乘 GAN、WGAN 或 HingeGAN-GP 都是 MMC。所有這些方法（和 WGAN-GP 一樣使用 L2 梯度規範懲罰時）都能最大化期望 L2 範數間隔。

研究者還展示了，使用 Lipschitz-1 判別器的大多數 GAN（譜歸一化 HingeGAN、WGAN、WGAN-GP 等）都可被表示為 MMC，因為假定 1-Lipschitz 等效於假定有界梯度（因此可作為一種梯度懲罰形式）。

重要的是，這意味著我們可以將最成功的 GAN（BigGAN、StyleGAN）看作 MMC。假定 Lipschitz-1 判別器一直被看作實現優秀 GAN 的關鍵因素，但它可能需要一個能夠最大化間隔的判別器和相對判別器（Relativistic Discriminator）。該研究基於 MMC 判別器給偽生成樣本帶來更多梯度訊號的事實，闡述了其優點。


在這一點上，讀者可能有疑問：「是不是某些間距比其它間距更好？是的話，我們能做出更好的 GAN 嗎？」

這兩個問題的答案都是肯定的。最小化 L1 範數的損失函式比最小化 L2 範數的損失函式對異常值更具魯棒性。基於這一事實，研究者提出質疑：L1 範數間隔會帶來魯棒性更強的分類器，生成的 GAN 也可能比 L2 範數間隔更佳。

重要的是，L1 範數間隔會造成 L∞ 梯度範數懲罰，L2 範數間隔會造成 L2 梯度範數懲罰。該研究進行了一些實驗，表明 L∞ 梯度範數懲罰（因使用 L1 間隔產生）得到的 GAN 效能更優。

此外，實驗表明， HingeGAN-GP 通常優於 WGAN-GP（這是說得通的，因為 hinge 損失對遠離邊界的異常值具有魯棒性），並且僅懲罰大於 1 的梯度範數效果更好（而不是像 WGAN-GP 一樣，使所有的梯度範數逼近 1）。因此，儘管這是一項理論研究，但研究者發現了一些對改進 GAN 非常有用的想法。

使用該框架，研究者能夠為 Relativistic paired (Rp) GAN 和 Relativistic average (Ra) GAN 定義決策邊界和間隔。人們常常想知道為什麼 RpGAN 的效能不如 RaGAN，在這篇文章中，研究者對此進行了闡述。

使用 L1 範數間隔的想法只是冰山一角，該框架還能透過更具魯棒性的間隔，設計出更優秀的 GAN（從而提供更好的梯度懲罰或「光譜」歸一化技術）。最後，對於為什麼梯度懲罰或 1-Lipschitz 對不估計 Wasserstein 距離的 GAN 有效，該研究也提供了明確的理論依據，更多細節可參考原論文。

相關文章