褲子換裙子，就問你GAN的這波操作秀不秀

把照片裡的綿羊換成長頸鹿、牛仔長褲換成短裙。聽起來有點不可思議，但韓國科學技術院和浦項科技大學的研究人員目前已實現了這一騷操作。他們開發的一種機器學習演算法可在多個影像資料集上實現這種操作。其論文《InstaGAN: Instance-Aware Image-to-Image Translation》已被 ICLR2019 接收。

影像到影像的轉換系統——即學會把輸入影像對映到輸出影像的系統——並非什麼新鮮事。去年 12 月，Google AI 研究人員開發了一種模型，該模型通過預測物件的大小、遮擋、姿勢、形狀等，可以逼真地將其插入照片中的合理位置。但正如 InstaGAN 的建立者在論文中所說的一樣，即使當前最先進的方法仍是不夠完美的。

本文要介紹的這項新研究基於 CycleGAN 實現了例項級別的影像轉換。

CycleGAN 克服了 pix2pix 在影像轉換中必須一一配對的限制，給定兩個無序影像集 X 和 Y，CycleGAN 可以自動對它們進行互相「翻譯」。

但它無法編碼影像中的例項資訊，因此在涉及目標類別特徵的影像轉換時，效果不太理想。

「由於其近期基於生成對抗網路取得的進步令人印象深刻，無監督的影像到影像轉換已受到大量關注。然而，以前的方法在面對具有挑戰性的任務時常常失敗，尤其是當影像具有多個目標例項並且任務涉及形狀的大幅變化時。」研究人員表示。

他們的解決方案是 InstaGAN 系統，該系統結合了多個任務目標的例項資訊。InstaGAN 會生成影像的例項分割掩碼（屬於同一例項的畫素組），它會結合目標的邊界並同時忽略顏色等細節。

新奇的是，InstaGAN 轉換了一幅影像和一組相應的例項屬性，並同時力求保留背景語境。當與一種創新的技術（該技術允許其在傳統硬體上處理大量例項屬性）結合時，它可以推廣到具有許多例項的影像。如下圖所示，把兩個人的牛仔褲換成裙子，把四隻綿羊換成長頸鹿都不是問題。

「據我們所知，在我們之前，還沒有人實現過影像到影像轉換中的多例項轉換任務。和以前在簡單設定中的結果不同，我們的重點是和諧，讓例項與背景自然地渲染。」

研究人員為 InstaGAN 系統提供了來自不同資料集（包括 multi-human parsing（MHP）資料集、MS COCO 資料集和 clothing co-parsing（CCP）資料集）的兩類影像。與影像到影像轉換的公認基線 CycleGAN 相比，InstaGAN 能夠更成功地在保留原始語境的同時生成目標例項的「合理形狀」。

「在不同資料集上的實驗成功實現了影像至影像轉換中的挑戰性任務——多例項轉換，包括把時尚影像中的牛仔褲換成短裙等新任務。探索新任務和新資訊將是未來有趣的研究方向。」研究人員寫道。

這篇論文已被 ICLR2019 接收為 Poster 論文，獲得了 7、8、7 的高分，其中一位評審在評審意見中寫道：

本文作者對多影像例項進行非成對的跨域轉換，他們提出了一種方法——InstaGAN。該方法基於 CycleGAN，考慮了以每個例項分割掩碼形式存在的例項資訊。

本文文筆較好，容易理解。該方法很新穎，解決了一類之前方法無法解決的資訊問題。該模型及訓練目標每個部分的動機在該問題的語境中都得到了清晰的解釋。結果看起來相當不錯，明顯優於 CycleGAN 和其它基線。

論文：INSTAGAN: INSTANCE-AWARE IMAGE-TO-IMAGE TRANSLATION

• 論文連結：https://arxiv.org/pdf/1812.10889.pdf

• 專案地址：https://github.com/sangwoomo/instagan

• ICLR 連結：https://openreview.net/forum?id=ryxwJhC9YX

摘要：由於生成對抗網路的快速發展，無監督影像到影像的轉換吸引了大量研究者的目光。然而，之前的方法通常不適用於較難的任務，尤其是在影像擁有多個目標例項或轉換任務涉及極具挑戰性的形狀問題時，如將時尚圖片中的褲子轉換成短裙。為了解決這一問題，本文提出了一種新的方法——instance-aware GAN（InstaGAN），這種 GAN 結合了例項資訊（如目標分割掩碼），提高了多例項轉換的能力。在保持例項置換不變性的同時，該 GAN 對影像和相應的例項屬性集進行轉換。為此，研究人員引入了一個語境保留損失函式，鼓勵網路學習目標例項之外的恆等函式。此外，他們還提出了一種序列 mini-batch 推理/訓練技術，這種技術藉助有限的 GPU 記憶體處理多個例項，增強了該網路在多例項任務中的泛化能力。對比評估證明了該方法在不同影像資料集上的有效性，尤其是在上述具有挑戰性的情況下。

研究者還在 GitHub 給出了兩個預訓練模型，感興趣的讀者可以下載試試。點選以下連結下載預訓練模型（褲子→短裙及/或綿羊→長頸鹿）：

地址：https://drive.google.com/drive/folders/10TfnuqZ4tIVAQP23cgHxJQKuVeJusu85

InstaGAN 成功地把牛仔褲和短裙互換，把短褲和長褲互換。

綿羊和長頸鹿互換，杯子和瓶子互換都不是問題。

我們可以只給第一位小姐姐換短裙，也可以只給第二位小姐姐換，當然一起換也 OK。

具體的玩法自然不限於此，作者可沒說需要限制性別。

從展示的案例中也可以發現，CycleGAN 的轉換效果總是受到源影像的形狀偏差影響，所以其轉換偏向於目標的紋理層面。比如，在下圖中，CycleGAN 就把短脖子的綿羊變成了短頸鹿。

給予讚賞的同時，同一位評審也指出了該論文的一些不足，並給出了相應的建議：

就測試領域的數量（三類影像對——長頸鹿/綿羊，長褲/短裙，杯子/瓶子）來看，結果有一定的侷限性。從某種意義上來說，這也是可以理解的。誰也不會沒事用它來轉換從未在相同語境出現過或者大小不同的目標（如杯子和長頸鹿）。但如果示例對更多會更好，也會使該系統更具說服力。

此外，如果單個模型可以在多個類別對上訓練並從它們之間共享的資訊中受益，那將很有趣。

評估主要是定性的。我希望看更多該模型的控制變數實驗。