ComfyUI 實戰：初探工作流

LexLuc發表於2024-10-03
UI

最近體驗了一下 ComfyUI。作為剛入門的新手，把一些我在配置和執行復雜影像生成工作流中的實踐經驗記錄下來。

環境搭建：基礎設施與依賴項

在深入工作流程之前，需要先搭建正確的環境。這涉及安裝一些 ComfyUI 基礎版中未包含的額外節點：

  1. ComfyUI-Manager：用於管理和安裝各種自定義節點的實用工具。
  2. comfyui_controlnet_aux：執行 ControlNet 相關操作的核心元件。
  3. rgthree 的 ComfyUI 節點：擴充套件工作流功能的自定義節點集，尤其適用於 LoRA 操作。

提示：載入新工作流時，務必檢查節點型別是否齊全。ComfyUI 介面會對缺失元件發出警告。

模型與輸入檔案準備

最耗時但至關重要的步驟是下載所有必需的模型和輸入檔案。以下是本次生圖工作流所需資源的詳細清單，包括下載連結和對應的儲存路徑：

  1. SDXL 模型：

    • 模型：LeoSam's HelloWorld XL
    • 下載地址：https://civitai.com/models/43977/leosams-helloworld-xl
    • 儲存路徑：ComfyUI/models/checkpoints/

  2. VAE 模型：

    • 模型：SDXL VAE
    • 下載地址：https://huggingface.co/stabilityai/sdxl-vae/blob/main/sdxl_vae.safetensors
    • 儲存路徑：ComfyUI/models/vae/

  3. 輸入影像：

    • 下載地址：https://images.adsttc.com/media/images/66f4/468f/4003/1872/a2d3/8141/slideshow/house-in-shunde-multi-architecture_1.jpg
    • 儲存路徑：ComfyUI/input/

  4. ControlNet 模型：
    a. 草圖控制用 T2I-Adapter：

    • 下載地址：https://huggingface.co/TencentARC/t2i-adapter-sketch-sdxl-1.0/tree/main
    • 儲存路徑：ComfyUI/models/controlnet/TencentARC/t2i-adapter-sketch-sdxl-1.0/diffusion_pytorch_model.fp16.safetensors

    b. 深度估計用 SAI XL Depth LoRA：

    • 下載地址：https://huggingface.co/lllyasviel/sd_control_collection/resolve/7cf256327b341fedc82e00b0d7fb5481ad693210/sai_xl_depth_256lora.safetensors
    • 儲存路徑：ComfyUI/models/controlnet/sai_xl_depth_256lora.safetensors

  5. 超解析度模型：

    • 模型：4x-UltraSharp
    • 下載地址：https://huggingface.co/lokCX/4x-Ultrasharp/blob/main/4x-UltraSharp.pth
    • 儲存路徑：ComfyUI/models/upscale_models/

注意：如果 ComfyUI 安裝中沒有上述目錄，則需要手動建立。

工作流程執行

完成準備工作後，我們開始執行工作流程。以下是觀察到的一些現象：

  1. 執行時間：首次執行整個流程耗時約 383.24 秒，後續執行僅需 106 秒。這種顯著的效能提升主要得益於快取機制和 GPU 預熱。

  2. 工作流複雜度：該生圖工作流涉及多個複雜步驟，包括影像預處理、ControlNet 引導、SDXL 推理和超解析度處理。

  3. 資源消耗：請注意，特別是在處理高解析度輸入或輸出時，該流程會導致 GPU 使用率和記憶體消耗激增。

經驗總結與最佳化方向

  1. 充分準備至關重要：提前準備好所有模型和輸入檔案可大幅減少故障排除時間。請仔細核對檔案路徑！

  2. LoRA 實驗：雖然本次執行未使用 LoRA 模型，但將其納入未來實驗計劃中，以探索進一步提升生圖效果的可能性。

  3. 效能最佳化：如需進行多次迭代，建議最佳化工作流程以加快後續執行速度。考慮使用模型量化、批處理等技術。

相關文章