原文Github地址：https://github.com/clawerO-O/ASMA
一、研究動機
目前的後門攻擊模型是基於數字畫素上的操作，例如增加噪聲，從而使得深度模型在推理階段表現為不正常，但這種attack隱蔽性很差，可以被人眼所觀察到。因為這些模型是在整個面部區域增加對抗性擾動，增加了許多冗餘擾動。為此，作者提出adversarial semantic mask attack algorithm 來提高生成的對抗資料的質量以及隱蔽性。
[!TIP]
該演算法的關鍵點在於限制增加擾動的範圍，透過
class activation mapping,face semantic parsing module定位關鍵的語義區域
二、adversarial semantic mask attack algorithm
2.1 Adversarial Semantic Mask Attack Generation
[!NOTE]
類啟用函式：將模型注意力與輸入影像聯絡起來
模組的關鍵：干擾類啟用函式的特徵會影響到模型輸出，得到對抗樣本的假注意力後，對人臉的各個區域進行分割，透過計算不同區域的畫素平均值作為偽造相關得分並進行排序，選擇語義掩碼區域加入對抗性噪聲，以達到原圖和對抗樣本的距離最大化。
- 實現
首先將對抗樣本初始化為原影像，在預訓練好的偽造檢測模型中分別提取兩者的類啟用特徵\(\Phi_x\)和\(\Phi_x'\)，利用兩者的特徵距離計算梯度更新對抗樣本的特徵
在對抗樣本的更新過程中，還受到了擾動的制約
2.2 Adaptive Semantic Mask Selection
[!TIP]
由於需要選擇語義掩碼區域加入噪聲，該文獻利用了類啟用函式自適應的選擇語義掩碼區域，採用語義分割演算法對人的臉部進行語義分割，包括左眼、右眼、左眉、右眉、鼻子、上唇、下唇、嘴內、臉、頭髮或背景，在獲得掩碼後，與上一節中得到的類啟用函式特徵進行相加，得到最終的區域類啟用特徵，並在最後加入原圖中得到對抗性樣本。
三、資料與模型
- 人臉資料集
DFDC：包括了使用DeepFakes，face2face和一些其他的人臉生成和表情編輯演算法。 特點：解析度高，最高 3840\(\times\) 2160。選取1000張假圖生成對抗攻擊樣本
- 人臉檢測模型：
MobileNet_SSD， 並將檢測到的人臉設定為320 \(\times\) 320。 - 訓練和攻擊模型：
XceptionNet,ResNet50,EfficientNet-B0, andEfficientNet-B4，檢測模型訓練50輪，採用Adam最佳化器。 - 對比的攻擊演算法：
FGSM[7],BIM[15],PGD[16],C&W[17],DeepFool[18],TRM[19]
四、實驗
- 白盒和黑盒模型攻擊對比
- 生成影像質量對比
- 類啟用函式的視覺化分析結果
參考論文
- 目前主要的攻擊方式：
- 基於補丁的方式：透過替換人臉的方式實現
- 轉移化妝特徵實現對抗性攻擊；[9] [10]
- 最小話真實影像和攻擊影像的統計差異；[12]
- 視覺化技術：
Class Activation Mapping