ACM MM24 | 復旦提出首個基於擴散模型的影片非限制性對抗攻擊框架，主流CNN和ViT架構都防不住它

机器之心發表於2024-08-27
ACM模型框架CNN架構
圖片

AIxiv專欄是機器之心釋出學術、技術內容的欄目。過去數年，機器之心AIxiv專欄接收報導了2000多篇內容，覆蓋全球各大高校與企業的頂級實驗室，有效促進了學術交流與傳播。如果您有優秀的工作想要分享，歡迎投稿或者聯絡報導。投稿郵箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com


本文作者來自復旦大學視覺與學習實驗室和人工智慧創新與產業研究院。其中第一作者高子怡為復旦大學研二碩士，主要研究方向為 AIGC 和 AI 安全。本文通訊作者是復旦大學的陳靜靜副教授。

來自復旦大學視覺與學習實驗室的研究者們提出了一種新型的面向影片模型的對抗攻擊方法 - 基於擴散模型的影片非限制遷移攻擊（ReToMe-VA）。該方法採用逐時間步對抗隱變數最佳化策略，以實現生成對抗樣本的空間不可感知性；同時，在生成對抗幀的去噪過程中引入了遞迴 token 合併策略，透過匹配及合併影片幀之間的自注意力 token，顯著提升了對抗影片的遷移性和時序一致性。

圖片

  • 論文連結：http://arxiv.org/abs/2408.05479
  • 程式碼連結：https://github.com/Gao-zy26/ReToMe-VA

引言

背景

近年來，深度神經網路（DNNs）在計算機視覺以及多媒體分析任務上取得了巨大的成功，並廣泛的應用於實際生產生活中。然而，對抗樣本的出現對 DNNs 的魯棒性帶來了挑戰。與此同時，對抗樣本的可遷移性使得黑箱攻擊成為可能，從而為深度模型在諸如人臉驗證和監控影片分析等安全攸關的場景中的部署帶來了安全威脅。目前，大多數基於遷移的對抗攻擊嘗試透過限制擾動的 Lp - 範數來保證 「細微擾動」。

然而，在 Lp - 範數約束下生成的對抗樣本仍具有可察覺的擾動噪聲，從而使其更容易被檢測到。因此，非限制性對抗攻擊開始出現。與之前的方法不同，非限制性攻擊透過新增非限制性的自然擾動（如紋理、風格、顏色等）實現。相比於傳統新增限制性對抗噪聲的攻擊，上述非限制性攻擊最佳化得到的對抗樣本更加自然。

目前，針對非限制性對抗攻擊的研究主要針對影像模型，針對影片模型的研究，尤其是影片模型非限制對抗攻擊可遷移性的研究仍較少。基於此，本文深入探索了非限制對抗攻擊在影片模型上的遷移性，並提出了一種基於擴散模型的非限制影片遷移攻擊方法。

問題

基於擴散模型的非限制影片遷移攻擊的挑戰來自三個方面。首先，對抗影片生成涉及整個去噪過程的梯度計算，導致高記憶體開銷。第二，擴散模型通常在早期去噪步驟中新增粗略語義資訊進行引導，然而在生成對抗影片中，過早對隱變數進行擾動會導致生成對抗幀顯著失真，且逐幀生成對抗幀後將導致最終對抗影片時序一致性差。最後，由於時間維度的引入，逐幀的單獨對抗擾動會引入單調梯度，缺少影片幀之間的資訊互動，使得對抗幀的遷移性較弱。

方法

為此，研究團隊引入了第一個基於擴散模型的影片非限制性對抗攻擊框架 ReToMe-VA，旨在生成具有更高可遷移性的影片對抗樣本。

圖片

ReToMe-VA 攻擊框架如上圖所示。ReToMe-VA 透過 DDIM 反轉將良性幀對映到隱空間。在 DDIM 取樣過程中，採用逐時間步對抗隱變數最佳化策略來最佳化潛在變數，即在每個去噪步驟中最佳化擴散模型隱空間的擾動。這一策略能夠使得新增對抗內容在具有強對抗性的同時更加自然。

此外，ReToMe-VA 引入了遞迴 token 合併機制來對齊和壓縮跨幀的時間冗餘 token。透過在自注意力模組中使用共享 token，ReToMe 最佳化了逐幀最佳化中細節的不對齊資訊，從而生成時間上一致的對抗性影片。同時，跨影片幀合併 token 促進了幀間互動，使當前幀的梯度融合來自關聯幀的資訊，生成穩健且多樣化的梯度更新方向，從而提高對抗遷移性。

時間步對抗隱變數最佳化策略

透過 DDIM 反轉後，在每個去噪時間步 t，我們預測每一幀的最終輸出 圖片 以替代對抗輸出圖片進行替代模型的預測。對抗隱變數 圖片 的計算和對抗目標函式表達如下：

圖片

最佳化圖片後，從圖片生成樣本圖片以準備下一時間步的對抗最佳化：

圖片

最後，圖片被用作最終的對抗影片片段以欺騙目標影片識別模型。

對抗內容的新增不可避免地帶來了良性幀失真的挑戰，被保持對抗幀與良性幀的結構相似性，TALO 在每個時間步最小化良性隱變數 x 和對抗隱變數圖片之間自注意力圖的平均差異：

圖片

ReToMe-VA 的最終目標函式如下：

圖片

遞迴 token 合併

研究團隊引入了遞迴 token 合併（ReToMe）策略，該策略遞迴匹配和合並跨幀的相似 token，使自注意力模組能夠提取一致的特徵。通常，tokenT 被劃分為源 (src) 和目標 (dst) 集。然後，源集中的 token 與 dst 中最相似的 token 匹配，並隨後選擇 r 個最相似的邊。接下來，我們透過將源集中連線的 r 個最相似的 token 替換為匹配的目標集 token 來合併 token。為了保持 token 數量不變，合併的 token 以賦值的方式被拆分。token 匹配、合併和拆分操作表示為：

圖片

在自注意力模組將 token 按幀劃分為圖片和圖片兩個集合。然後使用上述合併操作合併 token：

圖片

然而，在上述合併過程中，目標集中的 token 不會被合併和壓縮。為了最大限度地融合幀間資訊，我們遞迴地將上述合併過程應用於目標集中的 token，直到僅包含一幀。接下來，我們將 token 輸入自注意力模組以計算輸出 token。輸出 token 需要以逆向順序恢復到原始形狀以執行後續操作。遞迴合併策略過程如圖所示：
圖片
實驗

研究團隊選擇 Kinetics-400 資料集，I3D SLOW, TPN, R (2+1) D, VTN,Motionformer, TimeSformer 和 VideoSwin 等 CNN 和 ViT 架構的模型評估了 ReToMe-VA 的對抗性遷移性。當使用某一種結構的影片模型作為替代模型時，計算所生成對抗樣本在其他結構的影片模型上的攻擊成功率（Attack success rate，ASR），以此作為評價指標。

對抗遷移性實驗

研究團隊首先評估了正常訓練的 CNNs 和 ViTs 的對抗可遷移性。對於影片限制性攻擊，將提出的方法與 SOTA 的 TT 進行比較。對於影片非限制性攻擊，由於缺乏可比的工作，研究團隊將影像非限制性攻擊擴充套件為逐幀生成對抗性影片片段，包括 SAE、ReColorAdv、cAdv、tAdv、ACE、ColorFool、NCF 和 ACA。

對抗性影片片段分別針對 Slow-50、TPN-50、VTN、Motionformer 和 TimeSformer 生成。結果顯示，ReToMe-VA 在 Motionformer 和 TimeSformer 模型上實現了 100% 的白盒攻擊成功率，且在黑盒環境中超過了限制性攻擊方法 TT。當使用 Slow-50、Motionformer 和 TimeSformer 作為替代模型時，ReToMe-VA 顯著超過了 SOTA 的 ACA，分別高出 17.10%、26.62% 和 10.19%。部分結果展示如下：

圖片

對抗防禦魯棒性實驗

研究團隊在 HGD，R&P，JPEG，Bit-Red 和 DiffPure 等五種防禦方法上評估了 ReToMe-VA 的對抗防禦魯棒性。透過實驗，ReToMe-VA 在不同防禦方法中仍保持較高的攻擊成功率。比如 HGD 和 DiffPure 防禦方法下，ReToMe-VA 分別比 ACA 高出 17.5% 和 4.41%，這表明其在穿透這些防禦時的魯棒性和效率。

圖片

視覺化

圖片

研究團隊透過對影片幀質量和時間一致性的定性和定量比較來展示 ReToMe-VA 方法的優越性。

影片幀質量

研究團隊透過參考和非參考感知影像質量評估指標對幀的質量進行了量化評估。如表所示，ReToMe-VA 在所有指標中都達到了前兩名。而 ReToMe-VA 在 HyperIQA 和 TReS 中取得了最佳結果。

圖片

時序一致性

研究團隊使用五個指標評估影片的時序一致性，所有指標都達到了前兩名。具體來說，運動平滑度和時間閃爍性取得了最佳結果。

圖片

相關文章