“粘土風格”輕鬆拿捏,基於函式計算部署 ComfyUI實現AI生圖

Serverless社区發表於2024-06-05

阿里雲函式計算 FC 一鍵部署火爆全球工作流 AI 生圖平臺—— ComfyUI ,實現更高質量的影像生成,三步輕鬆完成“黏土”創意AI畫作,曬圖贏眼部按摩器等好禮!

活動地址:https://developer.aliyun.com/topic/june/fc?spm=a2c6h.29234099.J_6985717350.4.65997562KE82EH

實驗準備

目前在 AI 繪畫領域,Stable Diffusion WebUI 和 ComfyUI,聚攏了一大批的應用開發者和藝術創作者,是 AI 繪畫領域當之無愧的王者。ComfyUI 以其獨特之處和引人注目的特性脫穎而出。作為穩定擴散技術的一種嶄新表達,ComfyUI在WebUI領域開創了全新的篇章。ComfyUI,是一款基於節點工作流穩定擴散演算法的全新 WebUI。透過將穩定擴散的流程分解成各個節點,成功實現了工作流的精準定製和可靠復現。ComfyUI 可玩性更為豐富,每個節點都可以安裝所需載入,而且透過連線的流程式玩法,使用者能夠擁有更多探索的可能性。但是相對於傳統的WebUI,ComfyUI的部署和學習曲線較陡峭,函式計算基於 Serverless 應用中心開發“ComfyUI 應用模版”,簡化開發者的部署流程,幫助簡單、快捷實現全新而精緻的繪畫體驗。

實驗介紹

本次實驗將帶大家透過使用阿里雲產品函式計算 FC ,快速使用 ComfyUI 實現更高質量的影像生成,本方案內建基礎大模型+常用外掛+部分 Lora ,已風格化影像生成為例讓使用者體驗 一鍵部署的簡單與方便,後續使用者可根據自己的需要更換需要的模型、Lora、增加外掛。

領取試用額度(首次開通產品)

  • 函式計算試用額度

函式計算提供價值180元試用額度,試用額度的有效期為3個月,阿里雲賬戶與RAM使用者共享此試用額度。從開通服務的時間算起,超出試用額度的部分均會計入按量付費,如果想節省成本可以購買資源包

  • GPU使用量:100萬GB*秒GPU使用量
  • vCPU使用量:50萬vCPU*秒vCPU使用量
  • 記憶體使用量:200萬GB*秒記憶體使用量
  • 函式呼叫次數:800萬次函式呼叫次數
  • 公網出流量 :100 GB/月的CDT公網流量,共3個月

更多計費詳情

  • 檔案儲存 NAS試用額度

首次開通檔案儲存 NAS的使用者可0元領取NAS試用資源,本實驗將預設開啟效能型NAS ,免費額度為 9.15GB。
檔案儲存NAS提供通用型NAS資源包50 GiB ,使用期限3個月。本實驗使用效能型NAS,效能型NAS 5.47 50 GiB通用型基準容量能抵扣50 ÷ 5.47 = 9.15 GiB 效能型NAS使用量,更多計費詳情

開通產品

  • 函式計算 FC

函式計算是一款 Serverless 計算產品,可以為您提供 Stable Diffusion 必需的 CPU/GPU 計算資源。領取試用額度後,如果您沒有開通,可以點選 https://common-buy.aliyun.com/package?spm=5176.137990.J_5253785160.3.36551608ZVgFea&planCode=package_freetierfc_cn

  • 檔案儲存 NAS

如果您需要自定義模型,還需要藉助 NAS 產品的儲存能力來儲存您的模型檔案。開通 檔案儲存NAS

由於 ComfyUI 是開源專案,我們無法針對 ComfyUI 自身存在的問題給出標準解答。這可能需要您在遇到問題時請前往相關社群尋求幫助。當然,如果我們對您遇到的問題有所瞭解,在力所能及的範圍內,也會協助您更好地使用 ComfyUI 。您在使用函式計算的過程中遇到問題,可以前往釘釘群 29290019867 尋求幫助

入門-部署 ComfyUI

建立 ComfyUI 應用

進入函式計算控制檯 - 應用中心, 進入 函式計算 3.0(如右上角“返回函式計算 2.0”即為進入了函式計算3.0控制檯

點選“建立應用”進入應用應用中心,選擇 人工智慧分類—流程式 AI 圖片生成 ComfyUI ,點選立即建立

如果您是首次建立可能需要進行角色名授權,點選 前往授權 - 同意授權,如果沒有跳出提示請忽略

地域選擇可以選擇距離自己較近的區域,目前支援“杭州和上海”另外由於當前模板涉及 Github 以及 HuggingFace 等網站訪問,國內部分地區可能無法直接使用。

如果您沒有特殊需要,其他選項保持預設值即可。
點選建立應用,仔細閱讀活動應用建立提醒,點選 同意並繼續部署,等待應用部署完成大約 1分鐘

部署完成,直接點選 WebUI 域名,開始體驗 ComfyUI 圖片生成。請注意保護域名的安全,不要洩露給其他人,防止產生額外費用。

請注意:***.devsapp.net 域名是 CNCF SandBox 專案 Serverless Devs 社群所提供,僅供學習和測試使用,不可用於任何生產使用;但是社群會對該域名進行不定期地撥測,並在域名下發 30 天后進行回收.建議您後續繫結自定義域名以獲得更好的使用體驗或者重新部署一次 應用,重新掛載 NAS就可以了

首次開啟 ComfyUI,遇到無法訪問此網站情況,無需重新整理 等待 10 秒即可進入

提供 預設工作流,點選 Queue Prompt ,測試製作自己的第一張圖。第一張圖的出圖時間大概需要 15秒,後續出圖時間大概3秒左右

用 ComfyUI 自制“黏土濾鏡

如您希望自定義更多圖片可以檢視後面高階教程,為了讓您更直觀的感受 ComfyUI 強大的繪圖能力,我們提供了預置的工作流檔案+內建大模型+Lora模型,讓您基於函式計算部署 ComfyUI 快速體驗“黏土風格”濾鏡

1.下載預置的 json檔案,解壓後使用。
點選下載並解壓:https://labfileapp.oss-cn-hangzhou.aliyuncs.com/函式計算/基於函式計算部署ComfyUI繪畫平臺/clay workflow.zip

2.點選 Load 將下載好的 json 檔案 匯入 ComfyUI

3.在圖片區中的Load Image區域,單擊choose file to upload,匯入您需要製成“黏土風格“的原圖。
說明:您也可以直接使用示例圖片,但需要先將示例圖片先儲存到本地中。

示例圖片:

4.點選右側 Queue Prompt 等待圖片生成

一些您可能遇到的小問題
Q1. 點選 Queue Prompt之後沒有反應?

A1:如果您是第一次生成圖片,會因為伺服器冷啟動等待大約 3-5分鐘,期間您可以可以觀察“綠色邊框”的移動情況(即代表影像生成的進度)或者在右邊點選“ View Queue”檢視排隊情況。

Q2. 我想停止當前排隊怎麼辦?

A2: 點選 View Queue-Clear Queue, 可刪除目前排隊,如果您遇到出圖時間過久,排隊過多的情況可以透過清楚佇列,Refresh 來解決

Q3. 我調整了工作流的節點和連線,導致出現錯誤怎麼辦?

A3.您可以重新 load 下載的 Json 檔案,即可回到最初的設定

5.因為ComfyUI 基於Serverless 函式計算產品部署,因此生成第一張圖的時候需要冷啟動時間,第一張圖生成需要等待30秒,後續每張圖生成時間為 2-5秒。


經過實測,人物肖像表現會更好。您可以用人物照片進行測試。

友情提示
由於 ComfyUI 自身需要長久保持 WebSocket 連線以同步實時狀態,因此頁面開啟時會持續使用計算資源。也即頁面開啟就會有費用產生!請您在不使用 ComfyUI 的時候關閉頁面,如果不進行主動操作,頁面也會在10分鐘後自動關閉,以節省您的費用。

進階-管理模型及更多功能探索

為了方便自定義模型和節點,您需先繫結檔案管理 NAS。透過函式控制檯的網路配置,繫結專有網路/交換機。若無相關資源,需先建立。
進入函式計算控制檯:透過應用詳情,跳轉到函式控制檯

網路配置:完成專有網路和交換機配置(如果沒有相關資源,您可以點選 “建立新的 VPC”、“建立新的交換機”,前往相關產品建立資源。)

NAS 掛載:進行 NAS 掛載設定,繫結對應專有網路、交換機下存在的 NAS 掛載點。 函式本地目錄請填寫 /mnt/auto 或 /mnt/auto/comfyui;如果您曾經在當前 NAS 中使用過 Stable Diffusion 應用,可以考慮將遠端目錄設定為 /fc-stable-diffusion-plus,本地目錄設定為 /mnt/auto。 大模型對檔案 IO 要求較高,建議建立 通用效能型 NAS 例項,NAS 會根據儲存的檔案大小進行計費,不通規格的 NAS 計費單價不一致,請參考相關文件。

進入 ComfyUI 終端

函式計算支援登入執行中的函式例項,您可以在終端中執行需要的操作(如手動安裝自定義節點、依賴等)
注意,在 Serverless 環境下,您的所有改動都不會真正儲存,您需要將改動的檔案放置在 NAS 中以持久化

檔案上傳及下載

藉助 檔案儲存 NAS 的檔案瀏覽器功能,您可以方便地進行雲上檔案管理

安裝自定義節點

以安裝中文翻譯外掛 AIGODLIKE-COMFYUI-TRANSLATION 為例,使用 ComfyUI-Manager 進行安裝。

搜尋要安裝的節點名稱,點選 install

注意

  • 安裝過程中請不要關閉頁面。安裝完成後,除去需要點選 restart 外,還需要重新整理頁面
  • 安裝過程中可能會訪問 Github、HuggingFace 等境外網站,由於網路問題可能會導致訪問較慢或失敗,您可以在網路上檢索如何解決類似的問題。 )

加速依賴下載

使用國內 pypi 映象加速依賴下載。編輯 /mnt/auto/comfyui/root/.pip/pip.conf 檔案,設定映象源為阿里雲。

[global]
index-url = http://mirrors.aliyun.com/pypi/simple/
[install]
trusted-host = https://mirrors.aliyun.com

解決缺失節點的問題

匯入第三方的工作流,可能會遇到節點不存在的報錯,可以藉助 ComfyUI Manager 安裝缺失的節點


部分節點升級後,可能仍然提示未安裝,可參考 ComfyUI Guides 的相關討論解決。
How to fix: A red node for “IPAdapterApply”? You must already follow our instructions on how to install IP-Adapter V2, and it should all working properly. Now you see a red node for “IPAdapterApply”.That is because you are working on a workflow with IPAdapter V1 node, simply just replace the V1 node with the V2 ones or uninstall IPA v2 and rollback to V1 if you feel like it.

ControlNet 的使用

展示了使用 ControlNet 對比直接輸出的差異,提供了工作流 JSON 示例以及對應模型的下載說明。
(當前工作流可能用到了其他模型,您需要自行安裝)

釋放資源

您部署 ComfyUI 會使用函式計算 FC 產品,您建立模型管理器使用了 檔案儲存 NAS 產品。如果您後續不再使用 Stable Diffusion 可以刪除以下兩個部分,函式計算不呼叫不會計費,檔案儲存 NAS 只要有模型儲存即會付費,因此請您注意刪除相關資源。

刪除ComfyUI 使用的 FC

返回函式計算應用列表

刪除模型管理器使用的NAS

進入檔案儲存 NAS控制中心,選擇 檔案系統列表-選擇地域--刪除


移除掛載點及生效策略,刪除檔案系統

免責宣告:

  1. 阿里雲不對第三方模型的合法性、安全性、準確性進行任何保證,阿里雲不對由此引發的任何損害承擔責任。
  2. 您應自覺遵守第三方模型的使用者協議、使用規範和相關法律法規,並就使用第三方模型的合法性、合規性自行承擔相關責任。
    更多內容關注 Serverless 微信公眾號(ID:serverlessdevs),彙集 Serverless 技術最全內容,定期舉辦 Serverless 活動、直播,使用者最佳實踐。

相關文章