IJCAI 2019 提前看 | 神經網路後門攻擊、對抗攻擊

luolan9611發表於2019-08-08

IJCAI(國際人工智慧聯合會議)是人工智慧領域中的頂級綜合性會議,IJCAI2019 將於 8 月 10 日至 8 月 16 日在中國澳門舉辦,本次會議投稿量有 4752 篇,接收率為 17.88%。本文對 3 篇神經網路安全相關論文進行了介紹。

近年來,深度學習在計算機視覺任務中獲得了巨大成功,但與此同時,神經網路的安全問題逐漸引起重視,對抗樣本熱度持續不下,神經網路後門攻擊也悄然興起。本文選取了 IJCAI2019 的 3 篇論文,從目標檢測對抗攻擊、實時對抗攻擊、神經網路後門攻擊三個方面,為大家梳理最新進展。

  • 論文 1:Transferable Adversarial Attacks for Image and Video Object Detection

  • 論文 2:Real-Time Adversarial Attacks

  • 論文 3:DeepInspect: A Black-box Trojan Detection and Mitigation Framework for Deep Neural Networks

論文 1:Transferable Adversarial Attacks for Image and Video Object Detection

連結:https://arxiv.org/abs/1811.12641

論文速覽:

目標檢測是深度學習大顯身手的領域。目前,主流的影像目標檢測模型可大致分為兩類:基於 proposal 的模型和基於迴歸的模型。前者通常包含 R-CNN,Faster-RCNN,Mask-RCNN 等,這些方法使用兩階段檢測步驟,首先檢測 proposal 區域,然後對它們進行分類以輸出最終檢測到的結果。基於迴歸的經典模型有 YOLO 和 SSD,它們將目標檢測任務視為迴歸過程,並直接預測邊界框的座標。與影像場景相比,影像目標檢測影片目標檢測將相鄰幀之間的時間互動結合到目標檢測過程中,通常在選定的關鍵幀上應用現有的影像目標檢測器,然後透過時間互動傳播邊界框。因此,影像目標檢測是影片目標檢測的基礎。

目前針對影像目標檢測的對抗攻擊方法較少,已有的方法具有兩大弱點:1. 遷移性較弱:在一種目標檢測方法上攻擊效果好,但在另一種方法上成功率較低。2. 計算成本較高:針對影片資料處理,耗時較長。本文提出了一種開創性方法 UEA(Unified and Efficient Adversary),*可高效生成影像和影片目標檢測對抗樣本,並且對基於 proposal 的和基於迴歸的兩大類目標檢測器同時有效*。作者提出了一種多尺度的 attention 特徵損失,以增強 UEA 的黑盒攻擊能力。與首個且此前最先進的針對影像目標檢測的對抗攻擊方法 DAG(Dense Adversary Generation)相比,UEA 所需的運算時間約是它的千分之一。

IJCAI 2019 提前看 | 神經網路後門攻擊、對抗攻擊

圖 1.1 DAG 和 UEA 目標檢測對抗攻擊效果示例

第一行為原始影像及其目標檢測結果;第二行和第三行分別為 DAG 方法和 UEA 方法新增擾動後的對抗圖片在兩種目標檢測方法上的效果;其中 DAG 擾動後使得 Faster R-CNN 未檢測出圖中目標,但是對 SSD 無影響;而 UEA 擾動後在 Faster R-CNN 上未檢測出目標,同時在 SSD 上檢測到的目標 car 被識別為 sofa

Tips:2017 年 Xie 等人提出的 DAG 對抗攻擊方法以 Faster R-CNN 為攻擊模型,首先為每個 proposal 分配一個對抗標籤,然後執行迭代梯度反向傳播以對 proposal 進行錯誤分類。由於 DAG 透過操縱類標籤來實現對抗樣本,專門用於對 proposal 進行錯誤分類,這意味著 DAG 的可遷移性很差,無法在基於迴歸的檢測器上很好地工作。另外,DAG 是一種最佳化方法,每個影像需要 150 到 200 次迭代才能完成對抗擾動,高計算成本使 DAG 無法應用於攻擊影片目標檢測系統,因為影片攻擊所需的運算量要高得多。

方法解讀:

IJCAI 2019 提前看 | 神經網路後門攻擊、對抗攻擊

圖 1.2 UEA 的訓練框架圖

U(Unified):「統一」表示可以同時攻擊當前的兩種代表性目標檢測模型。由於基於 proposal 和迴歸的目標檢測器都使用特徵網路作為後端,如 Faster-RCNN 和 SSD 都使用 VGG16,如果對從後端特徵網路中提取的特徵進行攻擊,則兩種型別的目標檢測器都將受到影響。作者將該想法以多尺度特徵損失來實現,從多個層中攻擊特徵圖。從 DNN 的深度來看,DAG 的類損失應用於高階 softmax 層,attention 特徵損失用於低階後端層。作者在 GAN 框架內同時整合了低階特徵損失和高階類損失,以共同提高可遷移性。

相關文章