試想經典的監督學習問題，我們最小化期望損失函式 EP0 [ℓ(θ;Z)](θ∈Θ)，其中 Z〜P0 是空間 Z 上的分佈，ℓ 是損失函式。在許多系統中，魯棒性對於變化的資料生成分佈 P0 是可取的，不管它們來自協變數變化、潛在定義域變化 [2]，還是對抗攻擊（adversarial attack）[22,28]。隨著深度網路在現代以效能至上的系統中變得普遍（例如自動駕駛車的感知、腫瘤的自動檢測），模型失敗會日益導致危及生命的情況發生；在這些系統中，部署那些我們無法證實魯棒性的模型是不負責任的。
然而，最近的研究表明，神經網路容易受到對抗樣本的影響；看似不可察覺的資料擾動可能導致模型的錯誤，例如輸出錯誤分類 [22,28,34,37]。隨後，許多研究者提出了對抗攻擊和防禦機制 [44,38,39,40,48,13,31,23]。雖然這些工作為對抗訓練提供了初步基礎，但是不能保證所提出的白箱（white-box）攻擊是否能找到最有對抗性的擾動，以及是否存在這些防禦一定能夠成功阻止的一類攻擊。另一方面，使用 SMT 求解器對深度網路的驗證提供了魯棒性的正式保證 [26,27,24]，但通常是 NP-hard；即使在小型網路上，這種方法也需要高昂的計算費用。
我們從分散式魯棒優化的角度出發，提供一種對抗性訓練過程，並在計算和統計效能上提供可證明的保證。我們假設資料生成分佈 P0 附近的分佈類別為 P，並考慮問題最小化 sup P∈P EP [ℓ(θ;Z)]（θ∈Θ）。
P 的選擇影響魯棒性保證和可計算性；我們發現具有高效計算性鬆弛（relaxation）的魯棒性集合 P，即使在損失 ℓ 是非凸的情況下也適用。我們提供了一個對抗訓練過程，對於平滑的 ℓ，享有類似於非魯棒方法的收斂性保證，即使對於最壞情況下的整體損失函式 supP∈P EP [ℓ(θ;Z)]，也可以證明效能。在 Tensorflow 的一個簡單實現中，我們的方法實現經驗風險最小化（ERM, empirical risk minimization）所需時間是隨機梯度方法的 5-10 倍，與其它對抗訓練過程的執行時間相匹敵 [22,28,31]。我們表明，我們的方法通過學習防禦訓練集中的對抗性干擾來獲得泛化能力，使我們訓練出的模型能夠防止對測試集的攻擊。
我們簡要概述我們的方法。令 c：Z×Z→R +∪{∞}，其中 c(z,z0) 是攻擊擾亂 z0 到 z 的成本函式（我們通常使用
。我們考慮在 Wasserstein 距離 Wc(·,·) 下的分佈 P0 的魯棒性區域 
（正式定義參見第 2 節）。對於深度網路和其它複雜模型，這個問題（1）的表示式是在 ρ 取任意值時是難以解決的。因此，我們考慮該表示式在固定懲罰引數 γ≥0 時的拉格朗日鬆弛，即
（關於這些等式的嚴格陳述，請參閱命題 1）。在這裡，我們已經用魯棒性的替代函式 φγ(θ;Z) 代替了通常的損失函式 ℓ(θ;Z)。這個替代函式（2b）允許資料 z 的對抗擾動，由懲罰 γ 調整。我們通常用經驗分佈 Pbn 代替懲罰問題（2）中的分佈 P0 來解決問題，因為 P0 是未知的（我們在下面把這稱為懲罰問題）。
懲罰問題（2）的關鍵特徵是穩健水平的魯棒性——特別是針對不可察覺的對抗擾動的防禦——可以在基本上平滑損失函式 ℓ 沒有計算/統計成本下實現。特別的是，對於足夠大的懲罰 γ（在對偶、足夠小的魯棒 ρ 下），魯棒替代函式（2b）z 7→ℓ(θ; z)−γc(z, z0) 是嚴格下凸（凹函式）的，因此優化更加容易（如果 ℓ(θ, z) 在 z 中是平滑）。因此，應用於問題（2）的隨機梯度方法與非魯棒方法（ERM）具有相似的收斂保證。在第 3 部分中，我們為任意 ρ 提供了魯棒性保證；我們給出了在最壞情況下可以高效計算的基於資料的損失函式上限 supP：Wc(P,P0)≤ρ EP [ℓ(θ;Z)]。即，我們主要的對抗訓練過程輸出的最壞情況下的效能保證不比它差。當 ρ=ρbn 時，我們的約束是緊的，這對於經驗目標而言是魯棒的。這些結果表明，使用平滑啟用函式的網路比使用 ReLU 的網路更具有優勢。我們在第 4 部分通過實驗驗證了我們的結果，並且表明，即使對於非平滑的損失函式，我們也可以在各種對抗攻擊情況下達到最先進網路的效能。
魯棒優化和對抗訓練對於某些不確定集合 U，標準的魯棒優化方法可以將以形式為 supu∈U ℓ(θ; z+u) 的損失函式最小化 [3,42,51]。不幸的是，這種方法是棘手的，除了特殊結構的損失函式，如線性和簡單的凸函式的組成 [3,51,52]。儘管如此，這種魯棒方法構成了對抗訓練近期取得進展的基礎 [46,22,39,13,31]，它啟發式地提供了在隨機優化過程中擾動資料的方法。
其中一種啟發式演算法使用區域性線性化損失函式（以「快速梯度符號法」[22] 提出，p=∞）：
一種對抗訓練方式基於這些擾動損失函式進行訓練 [22,28]，同時其它許多函式基於迭代的變數 [39,48,13,31]。Madry 等人 [31] 觀察到這些過程試圖優化目標 
，這是懲罰問題（2）的限制版本。這種魯棒性的概念通常是難以處理的：內含的上確界在 u 中通常是非凹的，因此不清楚使用這些技術的擬合模型是否收斂，並且可能存在這些技術無法發現的最壞情況的擾動。事實上，當深度網路使用 ReLU 啟用函式時，發現最壞情況擾動是 NP-hard 的，這意味著快速迭代啟發式演算法是困難的（參見附錄 B 中的引理 2）。平滑可以在標準深度結構中用指數線性單位（ELU's）[16] 獲得，這使我們能夠以低計算成本找到拉格朗日最壞情況擾動。
分佈魯棒優化為了說明當前的工作，我們回顧了一些關於魯棒性和學習的重要工作。在魯棒目標中選擇 P（1）會影響我們希望考慮的不確定性集合的豐富性以及最終優化問題的易處理性。之前的分佈魯棒性方法已經考慮了 P 的有限維引數，例如矩的約束集、支援度（support）或方向偏差 [14,17,21]，以及概率測量的非引數距離，如 f-散度 [4,5,32,29,18,35] 和 Wasserstein 距離 [8,19,45]。與 f-散度（例如χ2- 或 Kullback-Leibler 散度）相反（當分佈 P0 的支援度是固定時有效），圍繞 P0 的 Wasserstein 球包含一組分佈 Q，它們具有不同支援度並且（在某種意義上）保證對未知資料的魯棒性。
許多作者研究了易處理型別的不確定集合 P 和損失函式 ℓ。例如，Ben-Tal 等人 [4] 與 Namkoong 和 Duchi[36] 使用 f-散度球的凸優化方法。對於由 Wasserstein 球形成的最壞情況的 P 域，Esfahani 和 Kuhn[19]、Shafieezadeh-Abadeh 等人 [45] 與 Blanchet 等人 [8] 展示瞭如何將鞍點（saddle-point）問題（1）轉換為正則化的 ERM 問題，但這隻適用於有限類凸損失函式 ℓ 和成本函式 c。在這項工作中，我們處理更大的一類損失函式和成本函式，併為拉格朗日鬆弛鞍點問題提供直接解決方法（1）。
演算法 1 分佈魯棒優化的對抗訓練
圖 1. 合成資料的實驗結果。訓練資料用藍色和紅色表示。ERM、FGM 和 WRM 的分類邊界分別以黃色、紫色和綠色表示。左邊為邊界與訓練資料一起的圖示，右邊為分開的真實類邊界的圖示。
圖 2. 用合成資料（a）和 MNIST（b）進行實驗的魯棒性保證（11）（藍色）和樣本外（out-of-sample/測試）最差情況下的效能（紅色）之間的經驗性比較。在（11）中省略了統計誤差項 ǫn(t)。垂直虛線表示在訓練集 ρbn（θWRM）上達到的魯棒性水平。
圖 3. 對 MNIST 資料集的 PGM 攻擊。（a）和（b）分別顯示了對於 PGM 攻擊在歐氏距離和∞範數下的測試錯誤分類錯誤與對抗擾動水平 ǫadv。（a）中的垂直虛線表示用於訓練 PGM、FGM 和 IFGM 模型的擾動水平以及估計的半徑 pρbn（θWRM）。對於 MNIST，C2=9.21 和 C∞=1.00。
圖 4. 損失函式表面的穩定性。在（a）中，我們顯示了給定 γadv 的擾動分佈 ρbtest 的平均距離，這是對於決策表面的輸入的區域性穩定性指標。（a）中的垂直虛線表示我們用於訓練 WRM 的 γ。在（b）中，我們將最小的 WRM 擾動（最大 γadv）視覺化，以使模型對資料點進行錯誤分類。更多的例子見附錄 A.2。
表 1. 1000 次實驗後的 Episode 長度（平均數 ± 標準差）
圖 5. 訓練中的 Episode 長度。縱座標 Episode 長度的環境上限為 400 步長。
論文：Certifiable Distributional Robustness with Principled Adversarial Training
論文連結：https://arxiv.org/abs/1710.10571
摘要：神經網路容易受到對抗樣本的影響，研究者們提出了許多啟發式的攻擊和防禦機制。我們主要從分散式魯棒優化的角度出發，它保證了對抗輸入擾動下的效能。通過對在 Wasserstein 球中的潛在資料分佈採用拉格朗日懲罰形式的擾動，我們提供了一種用最壞情況下的訓練資料擾動來增加模型引數更新的訓練過程。對於平滑損失函式，相對於經驗風險最小化，我們的過程證明地實現了穩健水平的魯棒性，並伴有很小的計算/統計成本。此外，我們的統計保證使我們能夠有效證明整體損失函式的魯棒性。對於不可察覺的擾動，我們的方法達到或優於啟發式方法的效能。