近日，微軟亞洲研究院在清華舉辦了 CVPR 2019 論文分享會。20 餘位論文作者在分享會現場進行了報告宣講，30 多篇論文進行了海報展示與交流。在這篇文章中，我們將介紹其中一篇關於對抗樣本的海報展示論文，該論文表示我們可以重構對抗樣本而去除掉對抗資訊，從而令它不會對分類模型產生危害。
這是微軟亞洲研究院主辦的第三屆 CVPR 分享會，如果你錯過了這場乾貨滿滿的分享會，點選「閱讀原文」觀看錄播視訊。微軟亞研也將圓桌論壇整理了出來，讀者可閱讀：2019最值得期待的計算機視覺問題有哪些？
什麼是對抗樣本
對抗樣本是指攻擊者通過向真實樣本中新增人眼不可見的噪聲，導致深度學習模型發生預測錯誤的樣本，如下圖所示給定一張熊貓的影象，攻擊方給圖片新增了微小的噪聲擾亂，儘管人眼是很難區分的，但是模型卻以非常高的概率將其誤分類為長臂猿。
上圖為 Ian Goodfellow 在 14 年展示的對抗樣本，這種對抗樣本是通過一種名為 FGSM 的演算法得出。
一般而言，對抗攻擊可以分為白盒攻擊、黑盒攻擊、定向攻擊，以及通用攻擊。其中白盒攻擊是指攻擊者能完全訪問到被攻擊模型，也就是說攻擊者在知道模型架構和引數的情況下製造能欺騙它的對抗樣本。而黑盒攻擊則表明攻擊者只能觀察到被攻擊模型的輸入與輸出，例如通過 API 攻擊機器學習模型可以視為一個黑盒攻擊，因為攻擊者只能通過觀察輸入輸出對來構造對抗樣本。
近年來，人們已經提出了許多抵禦對抗樣本的方法。這些方法大致可分為兩類。第一類是增強神經網路本身的魯棒性。對抗訓練是其中的一種典型方法，它將對抗樣本放入訓練資料中以重新訓練網路。標籤平滑將 one-hot 標籤轉換為軟目標也屬於此類。
第二類是各種預處理方法。例如 Song 等人（arXiv:1710.10766）提出的 PixelDefend，它可以在將對抗影象輸入分類器之前，將其轉換為清晰的影象。類似地，也有研究者（arXiv:1712.02976）將察覺不到的擾動視為噪聲，並設計了高階表徵引導去噪器（HGD）來消除這些噪聲。HGD 在 NIPS 2017 對抗樣本攻防競賽中獲得第一名。
一般而言，後一種方法更有效，因為它們不需要重新訓練神經網路。然而，在訓練降噪器時，HGD 仍然需要大量的對抗影象。因此，在對抗影象較少的情況下很難獲得良好的 HGD。PixelDefend 的主要思想是模擬影象空間的分佈，當空間太大時，模擬結果會很差。
新的防禦方案
從另一個方向而言，影象壓縮是一種低階的影象變換任務。由於區域性結構中相鄰畫素之間具有很強的相似性和相關性，因此影象壓縮可以在保留顯著資訊的同時減少影象的冗餘資訊。在此基礎上，這篇論文的研究者設計了 ComDefend，它利用影象壓縮來消除對抗擾動或打破對抗擾動的結構。ComDefend 的基本思想如圖 1 所示：
圖 1：抵禦對抗樣本的端到端影象壓縮模型主要思想。對抗影象和原始影象之間的擾動非常小，但是在影象分類模型的高層表示空間，擾動被放大。研究者使用 ComCNN 去除去除對抗性影象的冗餘資訊，再用 ResCNN 來重建清晰的影象，這樣就抑制了對抗擾動的影響。
ComDefend 由兩個 CNN 模組組成。第一個 CNN，稱為壓縮 CNN（ComCNN），用於將輸入影象轉換為壓縮表示。具體是指將原始的 24 位畫素壓縮為 12 位。從輸入影象提取的壓縮表示可以保留足夠的原始影象主體資訊。第二個 CNN，稱為重建 CNN（ResCNN），用於重建高質量的原始影象。ComCNN 和 ResCNN 最終組合成一個統一的端到端框架，並聯合學習它們的權重。
圖 2：ComDefend 概覽圖。
ComCNN 用於儲存原始影象的主要結構資訊，RGB 三個通道的原始 24 點陣圖被壓縮為 12 點陣圖（每個通道分配 4 位）。ResCNN 負責重建清晰的原始影象，它會在壓縮表示上增加了高斯噪聲，以提高重建質量，並進一步增強抵禦對抗樣本的能力。
我們可以發現 ComDefend 是針對清晰影象進行訓練的，網路將學習清晰影象的分佈，從而可以從對抗影象中重建清晰的影象。與 HGD 和 PixelDefend 相比，ComDefend 在訓練階段不需要對抗樣本，因此降低了計算成本。另外，ComDefend 採用逐塊的方式對影象處理，而不是直接對整幅圖處理，這提高了處理效率。
綜上所述，這篇論文主要有以下貢獻：
提出了 ComDefend，一種端到端的影象壓縮模型來抵禦對抗樣本。
設計了一個統一的學習演算法，以同時學習 ComDefend 中兩個 CNN 模組的權重。
該方法極大地提高了模型對各種攻擊方法的抵抗力，並擊敗了目前最先進的防禦模型，包括 NIPS 2017 對抗樣本攻防競賽的冠軍。
論文：ComDefend: An Efficient Image Compression Model to Defend Adversarial Examples
深度神經網路（DNN）在對抗樣本中容易受到影響。即在清晰影象中新增難以察覺的擾動可能會欺騙訓練好的深度神經網路。在本論文中，我們提出了一種端到端的影象壓縮模型 ComDefend 來抵禦對抗樣本。該模型由壓縮卷積神經網路（ComCNN）和重建卷積神經網路（ResCNN）組成。
ComCNN 用於維護原始影象的結構資訊並去除對抗擾動，ResCNN 用於重建高質量的原始影象。換句話說，ComDefend 可以將對抗樣本轉換為「乾淨」的影象，然後將其輸入訓練好的分類器。我們的方法是一個預處理模組，並不會在整個過程中修改分類器的結構。因此，它可以與其他特定模型的抵禦方法相結合，共同提高分類器的魯棒性。在 MNIST、CIFAR10 和 ImageNet 上進行的一系列實驗表明，我們所提出的方法優於目前最先進的抵禦方法，並且一致有效地保護分類器免受對抗攻擊。
端到端影象壓縮模型
在以前的相關研究中，我們可以將難以察覺的擾動視為具有特定結構的噪聲。換句話說，擾動不會影響原始影象的結構資訊，這種難以察覺的擾動可以被認為是影象的冗餘資訊。從這個角度來看，我們可以利用影象壓縮模型中的影象冗餘資訊，進而依賴這些資訊的特徵抵禦對抗樣本。
為了消除不易察覺的擾動或打破擾動的特定結構，我們提出了端到端影象壓縮模型。如圖 2 所示，影象壓縮模型包含壓縮和重建過程。
在壓縮過程中，ComCNN 提取影象結構資訊，並刪除影象的冗餘資訊。在重建過程中，ResCNN 重建輸入影象而不產生對抗擾動。具體而言，ComCNN 將 24 位畫素影象壓縮為 12 位，即 12 位畫素影象去除原始影象的冗餘資訊。隨後，ResCNN 使用 12 位畫素影象來重建原始影象。
在整個過程中，我們希望從原始安全影象中提取的 12 位畫素影象儘可能與對抗樣本相同。因此，我們可以將對抗樣本轉換為安全的影象。如圖 3 所示，我們可以看到新增隨機高斯噪聲有助於提高壓縮模型的效能。
圖 3：ComDefend 中是否新增高斯噪聲的結果比較。在每個子圖中，頂部影象是原始影象，中間影象是壓縮的 12 點陣圖，底部是重建影象。(a)ComDefend 通過非二值化的 12 點陣圖重建影象。(b) 在沒有高斯噪聲的情況下，ComDefend 通過二值化的 12 點陣圖重建影象。(c) 利用高斯噪聲，ComDefend 通過二值化 12 點陣圖重建影象。
我們看到 (c) 中的重建質量與 (a) 中的重建質量相同，這意味著非二值化對映的增量資訊實際上是噪聲。因此，當在二值化對映上新增高斯噪聲時，可以重建出更好的影象。
實驗結果和分析
圖 4：ResNet-50 對對抗樣本的分類準確度，這四種攻擊會分別在測試、訓練和測試階段進行防禦。虛線表示 ResNet-50 模型在沒有任何防禦下對對抗性影象的分類準確性。
Cifar-10 影象資料集的比較結果如表 4 所示。
如表 6 所示，該方法提高了 FGSM、DeepFool 和 CW 攻擊方法的防禦效能。
