專欄《GAN的優化》（第一季）正式完結啦！
在這一季裡，我們從生成模型出發，講述了GAN的基本理論，包括工作原理，更具有普適性的f散度度量和Wasserstein距離，以及IPM框架並順帶給出了一個處理WGAN的萊布尼茨限制的優雅解決方法；接著介紹了GAN訓練困難的原因以及幾個訓練技巧；然後從動力學視角出發探索GAN的訓練，將GAN與動力學方程聯絡在一起，講述了一致優化，並總結了各種GAN的正則項的優劣；最後我們講了一下GAN中的模式崩潰問題，並介紹了幾個比較好的解決方案。
至此，我們再對整個GAN的優化專欄第一季的內容進行一個大總結！
作者 | 小米粥 言有三
編輯 | 言有三
1 GAN原理
第一篇文章首先講一部分關於生成模型的內容，從極大似然法到顯式的定義概率密度函式到隱式定義概率密度函式的GAN。接著在GAN中，我們介紹了基本結構，工作原理，推導了幾個基本結論，並從分佈度量和博弈論兩個角度闡述了GAN。
【GAN的優化】GAN優化專欄上線，首談生成模型與GAN基礎
2 f-GAN
第二篇文章向大家介紹了概率密度函式的距離、由f散度定義的一系列距離、共軛函式，之後推導瞭如何使用fGAN生成原始的GAN，最後闡述了KL散度和JS散度的一些問題。fGAN是一個具有一定“通用”意義的模型，它定義了一個框架，從這個框架中可以自然而然得衍生出其他GAN模型。
3 WGAN和SNGAN
第三篇文章帶大家領略了一下WGAN，首先指出了之前f散度的問題，接著介紹了一種新的距離度量Wasserstein距離，並展示了使用對偶方法轉化Wasserstein距離，WGAN是一個具有重要里程碑意義的模型，非常值得反覆研究。
第四篇文章帶領大家一起學習了SNGAN，學習了特徵值和奇異值相關問題，學習如何使用譜範數解決1-Lipschitz限制，並推導了SNGAN，最後給出了一個快速求解矩陣最大奇異值的方法。SNGAN是比較重要而且優雅得解決1-Lipschitz限制的方案。
4 IPM
第五篇文章向大家介紹了GAN的IPM框架。關於GAN的目標函式，除了f-divergence外還有另一大類：IPM，非常熟悉的WGAN便是屬於IPM框架下的一種GAN，IPM(integral probability metric)也是一種對於兩個概率分佈之間的距離的度量，我們在這篇文章中選擇不同的函式集合F而得到不同GAN，例如FisherGAN，MMDGAN，MCGAN。
5 訓練問題
第六篇文章重點講述了GAN訓練中4個問題。第一個部分介紹了最優判別器引發的梯度消失問題，第二部分使用一個例子介紹距離計算時的問題，接著第三部分將介紹優化問題的困惑以及給出模式崩潰一個簡單解釋，最後一部分簡單談一下引數空間的問題。
6 訓練小技巧
第七篇文章主要向大家介紹了GAN訓練時的一些tricks。GAN的訓練其實是一個尋找納什均衡狀態的過程，然而想採用梯度下降達到收斂是比較難的，先講述了GAN的納什均衡狀態以及達到此狀態的難點，然後介紹了特徵匹配、歷史均值、單側標籤平滑等幾個技巧，可以儘量保證GAN進入收斂的狀態。
7 GAN與動力學
第八篇文章帶大家領略了GAN與動力學的結合，這篇文章首先介紹了常微分方程以及如何使用尤拉法得到常微分方程的數值解，接著描述了尤拉法與動力學系統之間的內在聯絡，然後從動力學的系統重新看梯度下降演算法，最後從動力學視角重新表述了GAN，提供一個新穎的視角，這是接下來兩篇分析GAN訓練過程的理論基礎。
8 一致優化
第九篇文章介紹了一個非常優雅的GAN優化演算法，一致優化。先從一個關於動力學系統收斂的重要命題出發，將其與GAN對接起來，然後進入動力學系統的特徵值分析，最後介紹一致優化的所提出的正則項，而且最重要的是，這裡給出了一定條件下，使用一致優化演算法可收斂到納什均衡狀態的理論保證。
9 GAN的正則項
第十篇文章裡用了一個非常簡單且直觀的Dirac-GAN進行實驗收斂性，首先說明了標準的GAN或者WGAN是無法收斂到納什均衡的，需要新增正則項。接下來，WGAN-GP也無法收斂，而一致優化正則項和zero centered gradient可以實現收斂，這為我們提供了很好的訓練GAN的啟示指導。
10 模式崩潰
第十一篇文章首先講了GAN的模式崩潰問題，並用一個簡單的例子做了過程示意，接著重點描述了通過修改目標函式來解決模式崩潰的方法，著重介紹了unrolled GAN的思想，並同樣進行了過程示意描述，最後又比較簡單地描述了另一種方案：DRAGAN。
第十二篇文章首先將說明模式崩潰問題的本質是GAN無法通過訓練達到最優納什均衡狀態，並介紹兩種解決模式崩潰問題的思路：修改目標函式和網路結構，然後介紹了一種簡單而有效的解決方案MAD-GAN，最後一部分給出MAD-GAN的強化版本MAD-GAN-Sim。
【GAN優化】什麼是模式崩潰，以及如何從優化目標上解決這個問題
12篇文章，說多不多，說少也不少，真的是花了自己非常大的心血，質量不敢說多高，但是自己確實是在認認真真、絞盡腦汁做這件事情。同時也非常感謝
有三AI，給了我一個寫東西的平臺，感謝給我的寬鬆自由的環境。
要忙於實驗、論文，忙於其他的事情，公眾號的部分暫時就先寫到這裡吧，其實，關於GAN的知識內容非常非常多，遠非幾篇文章能描述，每次涉及到到的內容我也只能淺嘗輒止，或者選擇具有代表性的內容聊一聊。