用AI指揮另一個AI，GAN+CLIP的組合成了“CG藝術家”

夢晨 發自 凹非寺
量子位 報導 | 公眾號 QbitAI

嫌棄GAN生成的影像不夠炫酷？

不需要改變資料集，只需要給CLIP下達的命令中把“虛幻引擎”幾個字加上，再讓CLIP去指揮GAN，影像就立馬變成了高大上的CG藝術風。

文字中加入虛幻引擎這個技巧，最早由Aran Komatsuzaki發在推特上，吸引了大量CV圈的人來圍觀。

後來有人把這套流程發在了Colab上，網友們都玩瘋了。

還可以指定成“彩色鉛筆風格”

或者“吉卜力風格”：

最絕的是，加上“3D photo inpainting”竟然可以生成立體構圖。

CLIP是OpenAI開發的一個負責給影像重排序的模型，它與GAN合作的方式也很簡單。

先用一張平平無奇的隨機圖案作為種子，像這種：

像這樣讓CLIP算出其與文字描述的相似度打分，然後反饋給GAN，讓GAN以提升分數為目標不斷迭代。

AI藝術家組合就這麼出現了。

除了在提示中加入風格要求之外，還可以直接告訴AI一個人名，看看在AI眼中他們長啥樣。

甚至能用來猜猜那些從未露面的大佬們，比如神秘的比特幣之父中本聰。

這就是AI心目中的中本聰，不管你信不信，反正我是信了。

線上試玩

VQGAN+CLIP在Colab上有很多版本，我們經過對比選擇了一個加入額外最佳化和池化技巧，在速度和質量上都比較出色的一個（連結在文章末尾）。

第1步和第2步，按順序執行就好。

第3步，選擇使用的模型，預設的是用ImageNet訓練的。

第4步設定引數，一般情況下只需要在texts裡填上要生成的內容，用“|”分隔。

width和height控制生成影像的解析度，model可以選擇使用的模型（需要在第3步中下載）。

改變seed的數字可以更換隨機影像種子。

另外還可以在init_image處指定一張初始圖片，需要把圖片上傳到Colab環境裡再填入連結。

比如，有人使用這樣一張圖片作為影像種子，開發了新玩法：生成寶可夢。

第五步執行，300*300解析度的圖迭代500次只需要幾分鐘。

最後，還可以把生成的過程合成為影片。

就是這麼簡單，快來試試吧。

線上試玩：

VQGAN:

CLIP:
https://openai.com/blog/clip/

參考連結：
[1]
[2]
[3]
[4]