Adobe又逆天！不用機器學習，用13.5M軟體把《長安十二時辰》變成水墨動畫

大資料文摘出品

作者：曹培信

用過修圖軟體的同學們應該都知道，利用強大的GAN，已經可以實現一鍵轉換照片風格的功能，比如將你拍的風景照轉換成一副印象派的畫作。

現在，輕鬆轉換視訊風格的軟體也誕生了！

Secret Weapons釋出了一款簡單而又強大的軟體EbSynth，由布拉格捷克技術大學和Adobe共同研發。這款只有13.5M的免費工具，輕鬆幾步就可將視訊素材轉換為各種你想要的風格“動畫”。

該軟體將一個或多個手動生成的key幀的樣式應用的視訊的每一幀上，從而完成整個視訊的風格遷移。

簡單來說，就是從一段視訊中選出幾幅圖，換成你想要的風格，錄入程式，整個視訊就能全部變成你想要的畫風了。

像這樣?

想想看，各種特效製作、或者動畫畫師如果有了這一技術的加持，可以只挑選其中某個鏡頭進行特效處理，然後用這個軟體瞬間獲得大片視訊，五毛也能做出酷炫特效！

Secret Weapons目前免費開放下載，文摘菌也親自試了下這款神奇的軟體，挑選了目前超火的視訊《長安十二時辰》視訊片段，看看能否把它變成更加中國風的水墨畫。

先來看看最後的效果，非常不錯?

更有趣的是，Adobe這次的研究沒有使用機器學習，到底如何操作？一起看看。

文摘菌實測，看水墨風《長安十二時辰》

第一步：下載、安裝軟體

軟體下載連結：

https://ebsynth.com/

有Windows版本和IOS版本，會根據你的機型自行下載適配的軟體。文摘菌用的是Windows系統。下載之後是個壓縮包，解壓即可。

第二步：準備素材

這個軟體的使用需要一段視訊，文摘菌決定使用現在大火的電視劇《長安十二時辰》裡的一個片段。

視訊下載後就要將素材轉化為一幀一幀的圖，這裡文摘菌用的是Premiere來實現這一步，推薦轉換成PNG格式。

生成幀圖的教程可以檢視連結：https://blog.csdn.net/qq_28372745/article/details/80743531

這樣就得到了一系列的PNG圖片，存放到一個資料夾中。

然後我們要將其中的某幾張圖改為參照的Key圖，這裡又要向大家安利一個免費網站——Fotor。

相關連結：

http://goart.fotor.com/

這個網站可以把本地的圖片線上修改成你想要的風格，修改為水墨風的圖片就是我們的key圖啦~

第三步：開始渲染

我們執行ebsynth軟體，介面如下：

在Keyframes中選擇剛才製作的key圖（至少一張），Video中選擇剛才製作的一系列PNG圖，下面的Stop填寫開始圖片序號和結束圖片序號，Keyframe填寫Key圖的序號。

點選Run all，就開始渲染啦，渲染結束後就會自動輸出一個資料夾Out，裡面就是渲染好的所有PNG圖，再將這些圖用Premiere做成視訊就OK了！

生成視訊的教程可以檢視連結：

https://zhidao.baidu.com/question/1574197317740227060.html

下面是文摘菌得到的結果，效果還不錯！

https://mp.weixin.qq.com/mp/videoplayer?action=get_mp_video_cover&vid=wxv_896112507058847744

為了讓大家更清楚地瞭解Key圖的作用，文摘菌在這裡使用了兩張Key圖，可以看到視訊中間風格的變化。

並非機器學習，Adobe參與研究

EbSynth是基於布拉格捷克技術大學和Adobe共同的研究，該專案由Secret Weapons創始人Ondřej Jamriška領導。

EbSynth網站顯示了該團隊最新論文“Stylizing Video by Example”的演示視訊。

論文連結：

https://dcgi.fel.cvut.cz/publications/2019/jamriska-tog-ebsynth

視訊連結：

https://www.youtube.com/watch?v=0RLtHuu5jV4

與該領域的其他研究不同，它不是基於機器學習，而是基於最近在風格遷移和紋理合成方面的研究，使用的是非引數紋理合成演算法。

早在2013年，已經有人提出了關鍵幀程式化正規化，藝術家在其中繪製一個或多個關鍵幀一個Key圖，然後演算法將繪製的樣式同步到序列的其餘部分。

EbSynth與上述方法主要區別在於，它不需要知曉目標場景的底層3D結構。相反,EbSynth通過獲得輸入視訊的原始顏色資訊和近似位置資訊進行轉換，再加上patch-based合成演算法,EbSynth在保持藝術意圖的同時，視覺效果也相當卓越了。

該演算法主要由五個引導模組組成（如上圖所示）：

• Color guide：捕捉外觀變化，例如：面部表情、細微的布料變形、不同的光照等；

• Mask guide：幫助演算法區分物件的邊界來處理遮擋。這個功能是可選的，當在視訊中沒有嚴重的遮擋或不需要精確地描繪物件邊界可以選擇不使用該模組；

• Positional guide：幫助演算法保持關鍵幀的結構，處理不同特徵之間的模糊性相似；

• Edge guide：突出了物件的邊緣和突出特徵，防止漏掉細節；

• Positional guide：保持風格在時間上的一致性，避免與前幀有明顯的變化。

儘管已經達到了這樣的效果，作者在論文中還是說明了這種演算法有一定的侷限性，比如人物身上光照的變化可能會對Color guide引起誤導，從而出現文摘菌在實測視訊中出現的由於更換Key幀引起的結構變化，作者表示這是他們下一步努力的方向。

相關報導：

http://www.cgchannel.com/2019/07/free-tool-ebsynth-turns-video-into-hand-painted-animation/