300多篇相關研究，復旦、南洋理工最新多模態影像編輯綜述論文

AIxiv專欄是機器之心釋出學術、技術內容的欄目。過去數年，機器之心AIxiv專欄接收報導了2000多篇內容，覆蓋全球各大高校與企業的頂級實驗室，有效促進了學術交流與傳播。如果您有優秀的工作想要分享，歡迎投稿或者聯絡報導。投稿郵箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

該文章的第一作者帥欣成，目前在復旦大學FVL實驗室攻讀博士學位，本科畢業於上海交通大學。他的主要研究方向包括影像和影片編輯以及多模態學習。

• 論文題目：A Survey of Multimodal-Guided Image Editing with Text-to-Image Diffusion Models
• 發表單位：復旦大學 FVL 實驗室，南洋理工大學
• 論文地址：https://arxiv.org/abs/2406.14555
• 專案地址：https://github.com/xinchengshuai/Awesome-Image-Editing

框架包含了兩個演算法族 Inversion 演算法和 Editing 演算法。

3.1 Inversion 演算法。Inversion 演算法將源影像集合編碼到特定的特徵或引數空間，得到對應的表徵（inversion clue），並用對應的源文字描述作為源影像的識別符號。包括 tuning-based和 forward-based兩種型別的 inversion 演算法。其可以被形式化為：

Tuning-based inversion透過原有的 diffusion 訓練過程將源影像集合植入到擴散模型的生成分佈中。形式化過程為：

其中為引入的可學習的引數，且。

Forward-based inversion用於在擴散模型的反向過程中（）還原某一條前向路徑中的噪聲（）。形式化過程為：

其中為方法中引入的引數，用於最小化，其中，。

3.2.Editing 演算法。Editing 演算法根據和多模態引導集合來生成最終的編輯結果。包含 attention-based，blending-based，score-based以及 optimization-based的 editing 演算法。其可以被形式化為：

特別地，對於每一步的反向過程，進行了如下操作：

其中中的操作表示編輯演算法對於擴散模型取樣過程的干預，用於保證編輯後的影像與源影像集合的一致性，並反應出中引導條件所指明的視覺變換。

特別地，我們將無干預的編輯過程視作為普通版本的編輯演算法。其形式化為:

Attention-based editing的形式化過程:

Blending-based editing的形式化過程:

Score-based editing的形式化過程:

Optimization-based editing的形式化過程:

^{圖 4. 關於 attention-based editing}的演算法組合的應用

^{圖 5. 關於 blending-based editing的演算法組合的應用}

^{圖 6. 關於 score-based editing的演算法組合的應用}

^{圖 7. 關於 optimization-based editing}的演算法組合的應用

^{圖 9.Content-free 任務中各個組合的定性比較，從左至右分別是}