RID 的作者來自於中國人民大學和 Sea AI Lab。第一作者為香港大學在讀博士生郭瀚中，該工作為其碩士期間完成，其研究方向為擴散模型。本文由中國人民大學孫浩教授和李崇軒教授共同指導，其他作者包括中國人民大學博士生聶燊和 Sea AI Lab 研究員龐天宇和杜超。
近年來許多論文研究了基於擴散模型的定製化生成，即透過給定一張或幾張某個概念的圖片，透過定製化學習讓模型記住這個概念，並能夠生成這個概念的新視角、新場景圖片。
但是當有使用者惡意使用定製化生成技術，例如利用釋出在社交平臺的照片生成假照片，會對使用者的隱私權造成威脅。一些研究透過對原始圖片加擾動的方式來保護圖片不被定製化學習，而由於這些研究都是透過梯度上升的方式去最佳化對應的擾動，因此瓶頸在於計算時間和計算開銷上，為了給一個圖片新增保護的擾動，需要花費幾分鐘甚至幾十分鐘，並且需要較大的視訊記憶體消耗。
本文中，中國人民大學和 Sea AI Lab 聯名提出名為 RID 的全新人物圖片保護模型，透過一個提前訓練的小網路實現輸入圖片輸出擾動的方式，在 RID 正規化下，圖片的防定製化保護只需要幾十毫秒並且可以在使用者手機終端部署。
論文標題：Real-time Identity Defenses against Malicious Personalization of Diffusion Models
論文地址：https://arxiv.org/pdf/2412.09844
專案地址：https://github.com/Guohanzhong/RID
為了更助於理解，RID 提供了涉及到的不同任務和解決方案的流程框圖。定製化學習的概念是指使用者提供幾張同個概念的幾張圖片（RID 聚焦在人物的保護上），微調預訓練擴散模型，如下圖 a 所示。在定製化學習完後，使用者可以利用定製化微調模型實現原始概念的新圖片生成，如下圖 b 所示。而目前為了保護圖片不被定製化，存在的方案是基於預訓練模型梯度上升最佳化一個微小擾動，但是這個過程對計算時間和計算量要求較大，如下圖 c 所示。而 RID 是利用 Adv-SDS 的方式在使用前最佳化一個小網路，如下圖 d 所示。RID 使用的時候即輸入圖片輸出擾動，實現低成本、實時的圖片保護，如下圖 e 所示。當對 RID 保護後的圖片再進行定製化學習，微調得到的定製化模型則已經無法生成真實、正常的圖片，即圖片被定製化保護成功，如圖 f 所示。
對抗得分蒸餾取樣 Adv-SDS
RID 的目標是透過一個小網路的單步推理，實現對圖片增加微小的擾動實現圖片不被成功定製化學習。受到 Dreamfusion 的 score distillation sampling (SDS) 啟發，RID 與 Dreamfusion 本質上都是最佳化一個圖片生成器，在 Dreamfusion 裡是不同角度渲染圖片，而 RID 的場景是透過新增一個擾動得到一個 “新” 的圖片。而 RID 與 Dreamfusion 的任務定義不同，Dreamfusion 目的是生成一個不同角度渲染的圖片符合擴散模型空間的，因此需要 SDS 損失最小，而我們是希望 RID 保護後的圖片不被定製化學習，因此透過引入一個最大化 SDS 損失的 Adv-SDS。
但實驗中 RID 發現，如果只透過 Adv-SDS 最佳化，RID 會陷入區域性最優，RID 產生的擾動是網格狀的，為了更好的保護效果以及讓擾動更不易察覺，RID 還引入了一個迴歸損失。RID 會提前離線產生乾淨圖片、擾動資料對，這個擾動是透過基於梯度最佳化的方式製造的，例如 AdvDM 或 Anti-DB 等。完整的 RID 最佳化見下圖所示，相比僅採用其中一種損失最佳化，在兩個損失共同最佳化下，RID 可以達到較好的保護效果。
模型架構：由於 RID 的目的是輸入圖片，輸入擾動，這個任務和擴散模型網路的任務類似，擴散模型是輸入帶噪圖片，輸出預測噪聲，因此本文采用 DiT 作為主要網路架構，由於我們不需要額外的條件引導，因此 RID 的網路架構是將 DiT 的條件注入變成常數。此外為了限制 RID 的輸出擾動大小，RID 會在網路最後增加一個 tanh 非線性對映並進行縮放達到每個 RID 網路可以產生不同大小約束的擾動。
實驗結果
訓練評估測試集構建：RID 的訓練資料集是經過篩選後的 70k VGG-Face 2 資料集，評估集是從 Celeba-HQ 中隨機篩選的 15 個 ID，每個 ID 的 12 張圖片組成的。
評估方式：對於每個 ID，會對 12 張乾淨圖片或者不同方法的保護圖片進行定製化學習，定製化學習均採用 Dreambooth 損失，微調引數為 Textual Inversion (TI)，TI + LoRA， 全引數微調 (DB)，RID 預設的評估定製化方法為 TI + LoRA，訓練的 prompt 均為 “photo of a <news>/sks person”。用每組定製化模型再推理 12 張圖片，定量評測的時候推理均用 “photo of a <news>/sks person”，定性分析的時候會做任意文字的組合泛化生成。
從下圖 a 中可以看出，經過 RID 保護的圖片可以有效的實現圖片的反定製化，即保護後的圖片的定製化模型無法生成正常的圖片。並且圖 b 展示了不同方法之間的保護對數時間，RID 可以在一張 GPU 上實現 8.33 Images/Second 的保護速度，雖然圖 c 展示 RID 的定量指標上有所下降，但從圖 d 的定性中說明不同方法間均能使用有效的保護，因此說明 RID 的有效性。
並且 RID 能夠在不同定製化方法、 不同定製化使用的預訓練模型、不同噪聲幅度下均達到有效的保護效果。
並且對於黑盒攻擊場景和圖片後處理場景下，無論從定性上還是定量上，RID 均可以展現出有效的保護效果。下圖展示了 RID 保護成功的原理，相比干淨圖片，RID 保護的圖片在擴散模型不同時間步上的損失均有較大程度的上升，而定製化模型本質上只是引入了一個新的概念，對於同一組圖片，定製化前後的模型損失變化並不大，因此沒辦法覆蓋 RID 增加擾動所帶來的損失上升，因此 RID 保護的圖片對於模型而言是一個 OOD 的圖片概念，模型無法正確學習到並且生成。
思考和展望
目前基於 SD 系列整合訓練的 RID 展現出來了魯棒的保護能力，但目前主流開源的還有許多 DiT 架構的擴散模型，因此未來如何將 DiT 架構的擴散模型融合進 Adv-SDS 一起最佳化實現更魯棒的保護效果值得探索。此外，目前 RID 的擾動仍然是隨機最佳化的擾動，未來能否設計一種具有良性作用的擾動，例如將擾動設計為妝照，也是值得更深入的研究。