全文共 6531 字，預計學習時長 13 分鐘

生成對抗網路（GAN）是生成模型的一種神經網路架構。

生成模型指在現存樣本的基礎上，使用模型來生成新案例，比如，基於現存的照片集生成一組與其相似卻有細微差異的新照片。

GAN是使用兩個神經網路模型訓練而成的一種生成模型。其中一個稱為“生成器”或“生成網路”模型，可學習生成新的可用案例。另一個稱為“判別器”或“判別網路”，可學習判別生成的案例與實際案例。

兩種模型（從博弈論的意義上來說）處於一種競爭狀態，生成器企圖愚弄判別器，而判別器則要同時處理生成案例和實際案例。

經學習，生成模型可生成所需的新案例。

生成對抗網路具有極為具體的使用案例，一開始這些案例理解起來會有些困難。

本文將回顧大量GAN的有趣應用，有助於你瞭解其能夠解決的案例型別。以下列表或許並不完整，但其中包含了許多媒體介紹過的GAN使用案例。

應用案例可劃分為以下18種型別：

1. 生成影象資料集案例

2014年，Ian Goodfellow等人發表論文《對抗式生成網路》，提出了生成新案例這一應用。文中指出，GAN可為MNIST手寫數碼資料集、CIFAR-10小件圖片資料集、多倫多人像資料集生成新案例。

論文傳送門：https://arxiv.org/abs/1406.2661

2015年，Alec Radford等人在一篇重要論文《使用深度迴旋生成對抗網路進行無監督表示學習》，也表達了類似觀點。論文指出，深度迴旋生成對抗網路展示了大規模培養穩定GAN的方法。論文展示了生成臥室新案例的模型。

論文傳送門：https://arxiv.org/abs/1511.06434

同時，論文展示了GAN（在潛在空間中）執行向量運算的能力，只需輸入生成的臥室案例和人像案例即可。

2. 生成人臉照片

Tero Karras等人在2017年發表的論文《GAN質量、穩定性及變化性的提高》展示了生成人臉照片的案例，照片十分逼真。因此，論文引起了媒體的廣泛關注。生成照片時以名人的臉作為輸入，導致生成的案例具有名人的臉部特徵，讓人感覺很熟悉，卻並不認識。

論文傳送門：https://arxiv.org/abs/1710.10196

該方法同樣用於生成物品和場景案例。

2018年發表的報告《人工智慧的惡意使用：預測、預防及抑制》選用的也是以上案例，顯示了2014至2017年GAN的快速發展。

論文傳送門：https://arxiv.org/abs/1802.07228

3. 生成現實照片

Andrew Brock等人在2018年發表了題為《用於高保真自然影象合成的GAN規模化訓練》的論文。論文展現了用BigGAN技術生成合成照片的案例。案例照片幾乎與真實照片無異。

論文傳送門：https://arxiv.org/abs/1809.11096

4. 生成動畫角色

金楊華（音譯）等人於2017年發表了題為《用GAN生成動畫角色》的論文。論文展示瞭如何訓練及應用GAN來生成動畫頭像（如日本動漫人物）。

論文傳送門：https://arxiv.org/abs/1708.05509

受動畫角色案例的啟發，一些人試圖利用GAN生成Pokemon這樣的角色，比如pokeGAN專案和使用深度迴旋GAN生成Pokemon專案。但目前成效甚微。

5. 影象轉換

GAN在這方面幾乎無所不能，因為相關論文顯示GAN可以執行許多影象轉換任務。

Phillip Isola等人於2016年發表題為《使用GAN技術進行影象轉換》的論文。論文特別介紹瞭如何使用GAN的pix2pix技術進行影象轉換。

論文傳送門：https://arxiv.org/abs/1611.07004

以下是一些影象轉換案例：

· 將語義影象轉化成城市和建築景觀圖片

· 將衛星影象轉化成谷歌地圖

· 將白天景觀轉化成夜晚景觀

· 將黑白圖片轉化成彩色圖片

· 將素描轉化成彩色圖片

朱儁彥等人於2017年發表題為《使用一致迴圈生成網路進行非配對影象轉換》的論文。論文介紹了著名的CycleGAN技術以及大量圖片轉化的案例。

論文傳送門：https://arxiv.org/abs/1703.10593

以下是一些影象轉換案例：

· 將圖片轉化成藝術繪畫風格

· 將馬的圖片轉化成斑馬圖

· 將夏景轉化成冬景

· 將衛星圖轉化成谷歌地圖

論文還介紹了其它案例，如：

· 將畫作轉化成圖片

· 將素描轉化成圖片

· 將蘋果圖轉化成橙子圖

· 將照片轉化成藝術畫作

6. 文字-圖片轉化

Han Zhang等人於2016年發表題為《StackGAN：使用堆疊GAN技術進行文字-圖片轉化及合成》的論文。論文特別介紹瞭如何運用StackGAN將對於簡單物體（如花鳥）的文字描述轉化為現實圖片。

論文傳送門：https://arxiv.org/abs/1612.03242

Scott Reed等人於2016年發表了題為《使用GAN技術合成影象》的論文。論文介紹了把對花、鳥等物體的文字描述轉化為影象的案例。

論文傳送門：https://arxiv.org/abs/1605.05396

Ayushmen Dash等人於2017年發表了題為《TAC-GAN——受文字限制的輔助分類器GAN》的論文。文中介紹了幾近相同的資料集案例。

論文傳送門：https://arxiv.org/abs/1703.06412

Scott Reed等人於2016年發表了題為《學習繪畫內容和地點》的論文。論文對GAN的此功能作了進一步介紹，並運用GAN完成文圖轉化，以及運用包圍盒和關鍵點推測描繪物體（如一隻鳥）的位置。

論文傳送門：https://arxiv.org/abs/1610.02454

7. 語義影象-圖片轉化

Ting-Chun Wang等人於2017年發表了題為《使用條件性GAN進行高清圖片合成及語義操縱》的論文。文中介紹了使用條件性GAN根據語義影象或素描生成現實圖片的方法。

論文傳送門：https://arxiv.org/abs/1711.11585

具體案例如下：

· 根據語義影象合成城市景觀圖片

· 根據語義影象合成臥室圖片

· 根據語義影象合成人臉圖片

· 根據素描合成人臉圖片

論文同時介紹了一種可操縱所生成圖片的互動編輯器。

8. 生成正面人像圖片

Rui Huang等人於2017年發表了題為《人臉轉正：全球及地方GAN感知合成擬真正面人像圖片》的論文。文中介紹了使用GAN根據特定角度的人臉生成正面人像圖片（如臉朝前）的方法。此類技術可應用於人臉驗證或辨認系統。

9. 生成新體態

Liqian Ma等人於2017年發表了題為《人體體態影象生成》的論文。文中介紹了生成人體模型新體態的案例。

論文傳送門：https://arxiv.org/abs/1705.09368

10. 圖片轉表情

Yaniv Taigman等人於2016年發表了《無監督跨領域影象生成》一文介紹了使用GAN跨領域轉化影象的方法。比如，將街區數字轉化為MNIST手寫數碼，或將名人照片轉化為emoji或動畫表情。

論文傳送門：https://arxiv.org/abs/1611.02200

11. 圖片編輯

Guim Perarnau等人於2016年發表了題為《使用可逆條件性GAN編輯圖片》的論文。文中特別介紹了使用GAN的IcGAN技術根據特定的面部特徵如髮色、髮型、表情甚至性別變化來重建人像圖片的方法，比如：

論文傳送門：https://arxiv.org/abs/1611.06355

Ming-Yu Liu等人於2016年發表了題為《耦合性GAN》的論文。文中同樣介紹瞭如何利用髮色、表情和眼鏡等特徵生成面部圖片。論文同時也展示了其他影象的生成，如有顏色和深度變化的場景圖片。

論文傳送門：https://arxiv.org/abs/1606.07536

Andrew Brock等人於2016年發表了題為《使用IAN進行神經圖片編輯》的論文。文中介紹了一種運用多種變化性自動編碼器及GAN的面部照片編輯器。此種編輯器可以快速對人臉特徵進行修改，包括修改髮色、髮型、表情、體態，以及增補面部鬍鬚。

論文傳送門：https://arxiv.org/abs/1609.07093

He Zhang等人於2017年發表了題為《使用條件性GAN消除圖片中的雨》的論文。文中介紹瞭如何使用GAN編輯圖片，比如消除圖片中的雨雪。

論文傳送門：https://arxiv.org/abs/1701.05957

12. 面部老化

Grigory Antipov等人於2017年發表了題為《使用條件性GAN進行面部老化處理》的論文。文中介紹了使用GAN生成不同年齡段人臉圖片的方法。

論文傳送門：https://ieeexplore.ieee.org/document/8296650

Zhifei Zhang等人於2017年發表了題為《使用條件性對抗自動編碼器增齡/減齡》的論文。文中介紹了使用GAN對面部圖片進行減齡處理的方法。

論文傳送門：https://arxiv.org/abs/1702.08423

13. 圖片混合

Huikai Wu等人於2017年發表了題為《GP-GAN：關於現實高保真照片的混合》的論文。文中展示了GAN在混合照片，尤其是混合田野、大山及其大型物體照片中的應用。

論文傳送門：https://arxiv.org/abs/1703.07195

14. 超解析度

Christian Ledig等人於2016年發表了題為《使用GAN生成單幅高解析度影象》的論文。文中特別展示了GAN的SRGAN模型在生成具有超高解析度影象中的應用。

論文傳送門：https://arxiv.org/abs/1609.04802

Huang Bin等人於2017年發表了題為《使用條件性GAN生成具有高質量、超高解析度的面部影象》的論文。文中特別展示了GAN在構建不同版本人臉影象中的應用。

論文傳送門：https://arxiv.org/abs/1707.00737

Subeesh Vasu等人於2018年發表了題為《使用強化超高解析度感知網路分析扭曲認知的折中引數》的論文。文中展示了一個使用GAN構建街景高解析度圖片的案例。

論文傳送門：https://arxiv.org/abs/1811.00344

15. 圖片修復

Deepak Pathak等人於2016年發表了題為《文字編碼器：通過圖片修復學習特徵》的論文。論文特別介紹瞭如何使用GAN的文字編碼器進行圖片修復或填充空缺，即填補圖片中某塊缺失的部分。

論文傳送門：https://arxiv.org/abs/1604.07379

Raymond A. Ye等人於2016年發表了題為《使用深度生成模型修復語義影象》的論文。文中介紹瞭如何用GAN對故意損壞的人臉影象進行填充和修復。

論文傳送門：https://arxiv.org/abs/1607.07539

Yijun Li等人於2017年發表了題為《人臉影象生成性填充》的論文。文中同樣介紹瞭如何使用GAN對損壞的人臉影象進行修復和重建。

論文傳送門：https://arxiv.org/abs/1704.05838

16. 服裝轉化

Donggeun Yoo等人於2016年發表了題為《畫素級領域轉化》的論文。論文展示瞭如何根據身著服裝的模特照片，運用GAN生成類似服裝圖集或線上服裝店的服裝圖片。

論文傳送門：https://arxiv.org/abs/1603.07442

17. 視訊預測

Carl Vondrick等人於2016年發表了題為《生成場景動態視訊》的論文。文中介紹瞭如何使用GAN進行視訊預測，尤其是連續預測最長可至一秒的視訊幀，聚焦於場景中的靜態因素。

論文傳送門：https://arxiv.org/abs/1609.02612

18. 3D列印

吳佳俊等人於2016年發表了題為《通過3D生成對抗模型學習物體形狀的可能潛在空間》的論文。論文展示瞭如何使用GAN生成物體的3D模型，比如桌椅、汽車和沙發。

論文傳送門：https://arxiv.org/abs/1610.07584

Matheus Gadelha等人於2016年發表了題為《由2D物體檢視推導3D形狀》的論文。文中介紹瞭如何使用GAN根據多種視角的2D物體影象生成3D模型。

論文傳送門：https://arxiv.org/abs/1612.05872

https://www.toutiao.com/a6719308793240355331/

來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/29829936/viewspace-2652295/，如需轉載，請註明出處，否則將追究法律責任。