用StabilityMatrix一鍵安裝Stable Diffusion

张善友發表於2024-07-06

Stable Diffusion是2022年釋出的深度學習文字到影像生成模型，它既能免費使用，又能部署在本地端，又有非常多的模型可以直接套用，在使用體驗上比Midjourney和DALL-E更加強大。

Stable Diffusion使用的模型有下列幾大類，對照模型網站 https://civitai.com 以形成更直觀的認識：

  1. Base Model： Stable Diffusion的基底模型（Base models），由StableAI公司開源而來的最基礎模型
    • 常見的基底模型有SD 1.5、SD2.0、SDXL 1.0等
  2. Checkpoint： 當做影像生成的基礎模型，通稱為大模型
    1. 由Base Model為基礎微調而形成的模型，可生成質量更高的影像
    2. 形成影像的基本風格，例如真實風格或卡通風格等，分別使用不同的兩種Checkpoint
    3. 合併多個Checkpoint而成的形成Checkpoint Merge
  3. 選項模型：附加在Checkpoint上的微調模型，可視為修補+濾鏡功能的模型，增強或改變影像的風格
    1. Textual Inversion（文字反轉，embedding）： 用新的關鍵詞來產生新的特徵
    2. LoRA（Low-Rank Adaptation，低秩調整）： Checkpoint就像是AI畫家的「基本畫功」，而LoRA則是要求AI畫家「照這個風格」產生圖片
    3. VAE（Value Auto Encoder）： 用來調整亮度或飽和度的微調模型

不過Stable Diffusion的部署步驟有點繁複，必須安裝Python相關環境、Git執行環境等等，但現在透過採用AvanloniaUI編寫的跨平臺桌面應用StabilityMatrix只要執行一個StabilityMatrix.exe就可以了，它會自動下載需要的檔案與模型，並提供了圖形介面讓我們可以方便的控制多達 10幾個Web UI（支援Automatic 1111、Comfy UI、SD.Next (Vladmandic)、VoltaML、InvokeAI、Fooocus 和Fooocus MRE）， 可以說StabilityMatrix大幅降低了Stable Diffusion的使用門檻。

本次介紹完整的StabilityMatrix安裝步驟，Stablility 支援Linux、Mac和Windows，下面的安裝是Windows 11下進行的。

1. 安裝步驟

  1. 解壓縮 StabilityMatrix-win-x64.zip 後執行StabilityMatrix.exe。 在檢查到NVIDIA顯示卡後，勾選同意授權協議再按【Continue】

image

  1. 勾選【Portable Mode】以建立便攜環境，執行環境會建立在執行檔案相同位置的Data資料夾裡

image

  1. 選擇Web UI，先使用最常見的Stable Diffusion WebUI，點選【Install】

image

開始安裝並下載需要的檔案...，它將在安裝過程中顯示推薦的型號（檢查點）。 它分為最流行的常規型號“SD1.5系列”和“SDXL系列”，具有高效能而不是較大的VRAM負載。 每個都有幾GB的大容量，因此下載時間會增加，但是如果有您想要的模型，請在此處檢視並下載。

  1. 安裝完成後會顯示《Package》頁面
  • 點選三橫線顯示完整的側邊欄選單
  • 點選綠色的【Package】就能啟動安裝好的SwarmUI
  • 【啟動】按鈕右側的齒輪可設定啟動引數

image

關於啟動選項

更高階一點。 SDwebUI 可以透過填寫寫成“--◯◯”的“命令列引數”來啟動，以啟用各種可選功能。 例如，有一個功能可以生成具有少量 VRAM 的 grabo，並加快生成速度。

在 StabilityMatrix 中，您可以在按下“啟動”按鈕之前按旁邊的齒輪“⚙”按鈕來呼叫啟動選項螢幕，並且可以透過選中它透過“啟動”來啟用它。image

請參閱官方網站了解每個啟動選項的含義。 您還可以透過自己填寫引數來新增選單中沒有的內容。這裡只是您應該記住的預設選單中的選項。

-xformers：有望提高影像生成速度並顯著減少 VRAM 使用。 請注意，它只能與 NVIDIA Gravo 一起使用。 幾乎每個人都使用它

-autolaunch：webUI載入完畢後在瀏覽器中自動啟動的功能，但在v1.6.0及以上版本中，可以在webui上設定，所以沒有用。

-lowvram：用於低 VRAM 抓取。 效能可能是災難性的，因此能夠生成影像。

–medvram — 以犧牲速度為代價減少VRAM的使用。

-medvram_sdxl：僅當使用 SDXL 模型時才啟用 medvram。


5.點選【Packages】→【Add Package】可再新增其他的WebUI套件

image

6. 第一次啟動（啟動）時會自動複製需要的檔案，其中預設的模型主檔 v1-5-pruned-emaonly.safetensors 有3.97GB，需要花點時間下載。下載完成並啟動後，會自動開啟瀏覽器瀏覽網址 http://127.0.0.1:7801

image

2. 初次測試

  • State Diffusion checkpoint（大模型）選用預設的v1-5-pruned-emaonly.safetensors ，學習模型（檢查點）通常主要以副檔名“.safetensors”和“.ckpt”分發，如果您將它們扔到指定的資料夾中，它們將起作用。 除了 StabilityAI 的每個版本的 StableDiffusion 之外，網路上還分享了無數的衍生模型，有些帶有插圖，有些帶有逼真的色調，有些介於兩者之間，有些擅長柔和的表達，等等。
  • 在txt2img分頁的【Prompt】（正面提示詞）輸入 a cute kitten
  • 【Negative Prompt】（負面提示詞）輸入 (worst quality:2),(low quality:2),(normal quality:2),lowres
    • 負面提示詞指示避免產生的屬性，括號裡可額外設定權重
  • 點選【Generate】開始生成圖片。 產生時StabilityMatrix.exe視窗會顯示執行記錄
2.1. 生成結果

image

3.總結

目前 ComfyUI 對於新模型與新應用支援更好，已經有超越 Stable Diffusion web UI的趨勢，SwarmUI 同時支援ComfyUI和SDWebUI，Fooocus由於簡潔、佔用資源低的原因，也越來越受歡迎，如果你是多個軟體的使用者，那麼不妨考慮使用Stability Matrix 進行集中化管理。


4. 相關連結

  • LykosAI/StabilityMatrix: Multi-Platform Package Manager for Stable Diffusion
  • mcmonkeyprojects/SwarmUI: SwarmUI, A Modular Stable Diffusion Web-User-Interface, with an emphasis on making powertools easily accessible, high performance, and extensibility. (github.com)

相關文章