最快影片轉繪-AnimateDiff-Lightning

千尺浪發表於2024-07-09

最快影片轉繪-AnimateDiff-Lightning

Video-to-Video Generation

AnimateDiff-Lightning 非常適合影片到影片的生成。使用 ControlNet 提供最簡單的 comfyui 工作流程。

「ComfyUI-aki-v1.3.7z」連結:https://pan.quark.cn/s/199a753292d8

img

  1. 下載匯入工作流

animatediff_lightning_v2v_openpose_workflow.json

下載地址:https://pan.quark.cn/s/90fdf5f4a88b

  1. 安裝節點 可以手動安裝它們或使用 ComfyUI-Manager。

ComfyUI-AnimateDiff-Evolved

ComfyUI-VideoHelperSuite

ComfyUI-Advanced-ControlNet

comfyui_controlnet_aux

  1. 下載你最喜歡的基礎模型 並將它們放在下面 /models/checkpoints/

模型打包下載:https://pan.quark.cn/s/fc3172240d9f

寫實風格

epiCRealism

Realistic Vision

DreamShaper

AbsoluteReality

MajicMix Realistic

動漫與卡通風格

ToonYou

IMP

Mistoon Anime

DynaVision

RCNZ Cartoon 3d

MajicMix Reverie

  1. 下載AnimateDiff-Lightning模型檔案animatediff_lightning_Nstep_comfyui.safetensors

模型打包下載:https://pan.quark.cn/s/f8ce7dce237b

並將它們放在/custom_nodes/ComfyUI-AnimateDiff-Evolved/models/下

  1. 下載 ControlNet OpenPose control_v11p_sd15_openpose.pth checkpoint

control_v11p_sd15_openpose.pth下載連結:https://pan.quark.cn/s/28064c8c2e1d

放到 ComfyUI-aki-v1.3\models\controlnet

  1. 上傳影片並執行

img

補充:

  1. 影片不宜太長或太高解析度. 測試使用的解析度 576x1024 8 秒 30fps
  2. 設定幀速率以匹配您的輸入影片,音訊與輸出影片才能匹配
  3. DWPose 首次執行會自己下載 checkpoint
  4. DWPose 可能會卡在 UI 中,但管道實際上仍在後臺執行。檢查 ComfyUI 日誌和輸出資料夾

原文:https://huggingface.co/ByteDance/AnimateDiff-Lightning

相關文章