AI換臉常見方法細說從頭

「AI 換臉」這幾天又熱起來了。雷鋒網 AI 科技評論秉承以往的風格，從技術角度簡單回顧一下近幾年重要的 AI 換臉技術。

Cycle GAN

Cycle GAN 可以說是所有人臉轉換嘗試重要早期嘗試。在對抗性生成式網路（GANs）的風潮中，大家發現只要給定源類別的樣本和目標類別的樣本，GANs 可以便捷地學習到兩個類別之間的轉換關係，就天然地適用於「影象到影象轉換」問題，比如同一張風景照的冬天到夏天、一匹馬到一匹斑馬；Cycle GAN 核心思路在於，如果能從源轉換到目標、還能從源轉換回來，就可以認為模型很好地學習到了兩個類別間的轉換關係，也更好地保證了轉換後的影象的品質。不過 Cycle GAN 的換臉效果並不怎麼好，它畢竟是一個對所有類別的影象通用的方法。

論文地址： https://arxiv.org/abs/1703.10593

Face2Face

Face2Face 可以說是一次「標準的、規矩的」的嘗試，它藉助 dlib 和 OpenCV，首先人臉檢測器檢測出源圖片中的人臉、找到人臉上的關鍵標記點，然後再使用針對人臉的 pix2pix 轉換模型把關鍵標記點轉換為目標人臉影象。也許是因為這個方法沒有給深度學習留下足夠的發揮空間，所以它的效果也一般般。

部落格地址： https://towardsdatascience.com/face2face-a-pix2pix-demo-that-mimics-the-facial-expression-of-the-german-chancellor-b6771d65bf66

在此之後，英偉達和 UC 伯克利的研究人員們根據 pix2pix 改進出了 pix2pixHD，提升了人臉影象的生成效果，而且也依然保持了原 pix2pix 模型的多類別通用能力。論文地址： https://arxiv.org/abs/1711.11585 ，開源地址  https://github.com/NVIDIA/pix2pixHD 。

DeepFakes

最火熱、最廣為流傳的深度學習換臉模型無疑是 DeepFakes。出現於 2017 年底的 DeepFakes 是一個深度自動編解碼器模型（Autoencoder-Decoder），通過用源人物和目標人物的幾百張照片（越多越好）訓練模型分別識別、還原兩人面部的能力。最後用源人物的照片搭配目標人物的解碼器就可以完成轉換。它也對視訊到視訊的轉換有良好支援。

DeepFakes 的缺點在於，它無法在小樣本上工作，意味著無法憑一兩張照片替換任意兩個人的臉部；模型的訓練過程也需要消耗大量資源。

DeepFakes 剛剛公開時也僅限於技術愛好者們之間交流，也並沒有釋出正式的論文。但一些蓋爾·加朵的換臉動圖一下子引爆了關注。今年年初曾經熱炒的「楊冪換臉朱茵」視訊也很可能是用這個方法實現的，因為 DeepFakes 中的編碼器經過足夠的訓練後確實能夠具有將任意輸入人臉（比如朱茵的人臉）轉換為高質量、高逼真度的目標人臉（楊冪人臉）的能力。

DeepFakes 的 GitHub 地址為  https://github.com/deepfakes/faceswap ，如今它還在持續更新升級；後來推出了還名為 FakeApp 的桌面應用程式，便於更多 TensorFlow 玩不轉的小白使用者嘗試。雷鋒網 (公眾號：雷鋒網)深度解析文章參見  https://www.leiphone.com/news/201803/3yF2fTIdXAStDKIa.html .

一張照片轉換面部動作

DeepFakes 式的「把目標影象中的人臉換成另一張臉」可能未來也很難減小樣本數量要求和資源要求，所以也有另一種思路，那就是給定一張人臉影象，然後根據給定的動作讓圖中的人「動起來」。三星莫斯科 AI 研究中心聯合斯科爾科沃科學技術研究所在今年 5 月發表的一篇論文就帶來了不錯的結果。不僅是真人的照片，他們甚至可以讓油畫中的人自然地開口說話。

論文地址： https://arxiv.org/abs/1905.08233

以上提到的論文和部落格 PDF 打包： https://ai.yanxishe.com/page/resourceDetail/987

https://www.leiphone.com/news/201909/25qeb75P4scYiKWC.html