最近在刷短影片的時候,偶爾能看到一些真人轉動漫風的作品,看起來給人一種新鮮感,流量都還不錯,簡簡單單跳個舞,就能獲得上千個點贊~
那麼,這種影片是怎麼製作的?
本期給大家介紹一款AI轉繪工具Diffutoon,可以將逼真的影片轉換成動畫風格,不僅能夠處理高解析度和快速運動的影片,還能確保整個影片的風格保持一致
Diffutoon最新中文版:
百度網盤:https://pan.baidu.com/s/1gKpZMMRpiB6OiTPc4cjNHA?pwd=tbjs
工作原理
Diffutoon的核心是基於深度學習的影像轉換模型,這些模型經過大量的動漫影像和影片資料訓練,能夠識別並模仿動漫風格的特徵,包括顏色、線條、陰影和紋理等
1.對輸入的影片進行幀提取,將影片分解成單幀影像
2.使用訓練好的深度學習模型對每一幀影像進行風格轉換,使影像呈現出動漫的視覺效果
3.對轉換後的影像合成處理,透過插幀技術提高影片的流暢度
4.將處理好的幀影像重新合成影片,生成最終的動漫風格效果
功能特點
· 高度自動化:能夠自動處理影片檔案,無需人工干預,極大提高了影片動漫化的效率
· 結構引導:使用ControlNet模型提取影片中的關鍵輪廓資訊,在動畫過程中保留原內容的核心特徵
· 一致性增強:整合AnimateDiff運動模組,增強幀時間一致性,確保動漫影片播放流暢,視覺連貫
· 自動著色:能夠根據影片內容和風格要求自動選擇合適的顏色進行填充
· 超解析度:採用專門的控制網路進行影片的上色處理,即使輸入低解析度的影片,也能夠生成高質量的動漫風格影片
使用方法
1.在“穩定擴散”處選擇模型“aingdiffusion_v12.SafeTensors”
2.在“動畫差異”處選擇模型“mm_sd_v15_v2.ckpt”
3.在“輸入影片檔案”處複製待處理影片所在的路徑,例如 C:\dongman\1.mp4
4.設定輸入影片的高度和寬度,短影片的高寬一般是1024和768
5.設定開始幀0,結束幀設為影片的秒數乘以30,例如10秒影片的結束幀就是300
6.“輸出影片檔案路徑”保持預設值output,設定幀數為30
7.在“ControlNet單元”處設定
單元0:控制網為“control_v11f1e_sd15_tile.pth”,處理器為“tile”
單元1:控制網為“control_v11p_sd15_lineart.pth”,處理器為“lineart”
8.點選執行按鈕
稍微等待一段時間,轉繪後的影片儲存在專案路徑的output資料夾下
注意事項
①專案安裝路徑不要包含中文
②推薦使用GTX1070以上顯示卡執行此專案
③使用過程中若不慎關閉軟體後臺,請重新開啟,並重新整理網頁