川普真會說中文?連嘴型都同步,VideoReTalking AI數字人下載介紹

老艾的AI世界發表於2024-06-29

你能想到這種畫面嗎?黴黴在節目中用普通話接受採訪,川普在老家用中文脫口秀,蔡明老師操著一口流利的英文調侃潘長江老師..

這聽起來似乎很魔幻,可如今全部由VideoReTalking實現了

你只需要傳入一個影片檔案和音訊檔案,它會生成一個新的影片,在這個影片裡,不僅人物的嘴型會與音訊同步,就連表情也會隨著聲音的起伏發生變化,而整個過程都在沒有使用者干預的情況下按順序處理

工作流程

1、表情引導:給定一個會說話的頭像影片,使用表情編輯網路根據相同的表情模板修改每一幀的表情,從而生成具有規範表情的影片

2、口型同步:將規範表情影片與給定的音訊一起輸入口型同步網路以生成口型同步影片

3、面部增強:透過身份感知面部增強網路和後期處理提高合成面部的照片真實感

VideoReTalking最新中文版

百度網盤:https://pan.baidu.com/s/1AWJ6M69TFVZDcWYEdJn_dg?pwd=r3g8

VideoReTalking使用起來非常簡單,只需要3步

1、在下載資源的根目錄找到examples\face資料夾,選擇其中的影片檔案

2、選擇examples\audio資料夾下的音訊檔案

3、點選“開始”按鈕

在控制檯中,可以檢視當前的處理進度,程式執行完畢會輸出資訊outfile: results/output.mp4

注意事項

①上傳的影片中只能有一張人臉且每幀都要有人臉,人臉要求清晰可識別、不宜過大

②FaceDet進度到100%,控制檯不接著列印資訊是正常現象,需要等待一段時間

③影片處理速度和GPU有關,這裡推薦gtx1060以上顯示卡

相關文章