自動做遊戲（5）：新海誠版“和平精英”長啥樣？

風格轉換是近年來機器學習的熱點研究課題之一，未來風格轉換技術也許可以應用到遊戲當中，於是我們做了些實驗，試圖尋找這種可能。清華大學的《CartoonGAN:Generative Adversarial Networks for Photo Cartoonization》提出一種轉換動漫風格的方法，我們基於該技術，做些遊戲動漫風格轉換的試驗，以求未來有可能將深度學習技術廣泛應用於遊戲開發中，提高遊戲開發效率。

1、新海誠版“和平精英”長啥樣？

第一個實驗是為遊戲畫面做風格轉換，選取了當前熱門的“和平精英”的一段錄影，然後逐幀轉換，以求獲取一套動漫風格的和平精英。儘管不是實時，但也已經有人做過實驗，在較高配置的PC上對遊戲畫面實時做風格轉換，達到可以接受的幀率。

測試結果來看，對場景的動畫風格還原較好，這可能因為CartoonGAN的訓練素材中，有更多的動漫場景。以下是一些畫面截圖。




如今，遊戲都在追求高逼真的渲染，計算量大。或許未來，可以利用深度學習技術，以低於光照的計算量計算物理光照。或者使用一些較為容易獲得的素材，再做整體的風格轉換，以求獲得良好的視覺效果。

2、自動轉卡通貼圖

如果開發一個卡通風格的遊戲，除了要編寫卡通shader外，還需要使用卡通風格的貼圖，鑑於很多貼圖素材是以現實為參考，美術同學往往需要手動去轉換貼圖。

我們嘗試了在一個遊戲場景中，對貼圖做卡通風格轉換。如下圖，展示了場景中的原始貼圖，以及轉換成宮崎駿和新海誠風格的貼圖。


將貼圖應用到實際場景中，得到下圖的效果。可見，邊緣和稜角都更加明晰，若配合卡通shader，或能有一些效果。


下圖是宮崎駿版的場景放大圖。


3、CG動畫風格轉換

我們還嘗試了將一段遊戲CG（仙劍5前傳結局動畫）逐幀做風格轉換，以求得到動漫風格的CG動畫。由於CG動畫包含較多的人物，較少的場景，效果一般。可以期待的是，隨著技術的發展，也許可以由美術同學製作一套很簡單的動畫，甚至只用通用模型擺出動作，再配合自動繪圖和風格轉換去填充細節，以減少CG動畫的製作成本。

以下是轉換後的一些畫面。



我們還嘗試將影視劇片段轉換成動漫風格，下圖為“大軍師司馬懿之軍師聯盟”中一段宣傳視訊的轉換截圖，整段視訊的轉換效果並不好，下圖是其中較好看的一幀。或許可以期待未來可以用類似的方式製作動漫。


還嘗試對人物做轉換，下圖是某抖音網紅的轉換效果，侵刪。


4、原始資料

把轉換視訊都上傳到B站，以供參考。每套視訊有5個視訊，依次為：p1宮崎駿風格、p2細田守風格、p3今敏紅辣椒風格、p4新海誠風格、p5原版視訊

《新海誠做的吃雞長什麼樣？》
https://www.bilibili.com/video/av58810535/


《新海誠拍司馬懿連續劇，會拍成什麼樣？》
https://www.bilibili.com/video/av58806556/


《莉哥突然變成動漫人物了！》
https://www.bilibili.com/video/av58798916/


《宮崎駿做仙劍，會長什麼樣》
https://www.bilibili.com/video/av58809610/

又到推薦時間了，如果想學習網路遊戲開發，《Unity3D網路遊戲實戰（第2版）》中用一個大例項詳細介紹網路遊戲的開發的全過程，還對網路程式設計有詳細的講解，非常合適。


系列文章：
自動做遊戲（1）：自動生成人物側面圖
自動做遊戲（2）：自動生成人物行走圖
自動做遊戲（3）：行走圖生成工具開放試用
自動做遊戲（4），極小樣本生成國畫的嘗試
自動做遊戲（5）：新海誠版“和平精英”長啥樣？

作者：羅培羽
專欄地址：https://zhuanlan.zhihu.com/p/73731724