阿里雲互動式建模(DSW)的探索和踩坑

從零開始的程式設計師生活發表於2023-04-27

前言

自己的筆記本煉丹還是太吃力了些,風扇嘶吼有點心疼,看到阿里雲出了一些免費試用的資源,想著能白嫖一下高階顯示卡跑一跑自制模型還挺有趣,於是有了下面的一些操作,其實沒啥難度的,大膽的按檔案來做基本就可以了.

在PAI-DSW中,可以為儲存外掛OSS或NAS,注意,我看著oss好像也便宜於是就買了半年的,但是沒想到這裡不給掛載,說第一個掛載盤必須是NAS的,如果想真的白嫖那可能不想使用這些。每個容器自帶500GB的臨時儲存空間也是夠用的,但是請注意,該儲存空間是臨時的,所以如果關機或者容器執行出現問題,裡面的資料將會丟失。這也引出了一個問題,要選擇一個完整的映象,這樣就不用每次部署後都要重新配置
不過,也可以使用其他方法來解決這個問題。例如,可以儲存執行中的映象,這樣可以儲存映象中的檔案等,下次啟動新的例項時就可以使用該映象。
另外溫馨提醒,官方雖然免費試用三個月,但是有計算時長限制,總共是5000CU_H。例如,我們選擇A10型號,每小時花費6.99CU_H大約可以玩29.8天。但是請注意,不用的話最好關機(一定要記得在關機前儲存資料/映象),細水長流才是白嫖的要義。這篇水文可以說是全網最全的了,希望能幫到你.

聚焦真正有價值的事,不要耗散了自己的激情和好奇心

白嫖互動式建模

映象選擇

選擇一個好用的映象特別重要,可以說是最重要的事了,不要用官方的映象,他們的不給儲存,於是去hub.docker.com上找了些stable-diffusion-webui的映象,可以說前幾個給出的都不好用,測試下來,這些映象為了減小體積都裁剪了重要的linux命令,對於使用互動式建模(DSW)可玩性不高,出了問題很不好定位,有幾個映象還預設使用的非root賬號啟動的就更難用了

# 這些映象都沒有定位工具,基礎命令缺失,很難使用
registry.docker.com/universonic/stable-diffusion-webui:latest
registry.docker.com/siutin/stable-diffusion-webui-docker:latest

# 阿里雲上的映象,但無法儲存,很不好用
eas-registry-vpc.cn-hangzhou.cr.aliyuncs.com/pai-eas/stable-diffusion-webui:1.1

# 這個映象看著還行,命令不算完整,但夠用
registry.docker.com/kestr3l/stable-diffusion-webui:1.2.2

由於映象的選擇太重要了,想著打一個好用又完整的映象,於是把上面的映象都嘗試了,期間踩了很多坑,貿然更新裡面的cuda或者nvida驅動都會導致映象無法使用,最後使用了kestr3l的這個映象作為基礎,打包了自己覺得重要的東西整合了一個新的映象,看了下映象倉庫裡大概17G大小,放了兩個常用大模型和關鍵的外掛,也把訓練包打了進去.算是一個all in one

操作過程記錄

  • 找到下面這段程式碼,給每個github地址前邊都加上ghproxy.com, 最好是設定下環境變數吧,參考下面的. 其實體驗下來,容器中下載github資料挺快的,不配置也沒關係,下載不動就多嘗試幾次.
# 原本的下載源,可以把秋葉大佬整合包裡的下載源複用到這裡,自己找風險很大
export GFPGAN_PACKAGE=git+https://github.com/TencentARC/GFPGAN.git@8d2447a2d918f8eba5a4a01463fd48e45126a379
export CLIP_PACKAGE=git+https://github.com/openai/CLIP.git@d50d76daa670286dd6cacf3bcd80b5e4823fc8e1
export OPENCLIP_PACKAGE=git+https://github.com/mlfoundations/open_clip.git@bb6e834e9c70d9c27d0dc3ecedeebeaeb1ffad6b
export STABLE_DIFFUSION_REPO=https://github.com/Stability-AI/stablediffusion.git
export TAMING_TRANSFORMERS_REPO=https://github.com/CompVis/taming-transformers.git
export K_DIFFUSION_REPO=https://github.com/crowsonkb/k-diffusion.git
export CODEFORMER_REPO=https://github.com/sczhou/CodeFormer.git
export BLIP_REPO=https://github.com/salesforce/BLIP.git
  • 補充的一些自己的操作
# source venv/bin/activate
python -m venv --system-site-packages --symlinks venv
sed -i 's/can_run_as_root=0/can_run_as_root=1/g' webui.sh
wget -c https://huggingface.co/naonovn/chilloutmix_NiPrunedFp32Fix/resolve/main/chilloutmix_NiPrunedFp32Fix.safetensors -O chilloutmix_NiPrunedFp32Fix.safetensors
cd stable-diffusion-webui/repositories/CodeFormer/weights/facelib/
wget -c http://pai-vision-data-hz.oss-cn-zhangjiakou.aliyuncs.com/EasyCV/datasets/try_on/detection_Resnet50_Final.pth && wget -c http://pai-vision-data-hz.oss-cn-zhangjiakou.aliyuncs.com/EasyCV/datasets/try_on/parsing_parsenet.pth
cd stable-diffusion-webui/embeddings && wget -c http://pai-vision-data-hz.oss-cn-zhangjiakou.aliyuncs.com/EasyCV/datasets/try_on/ng_deepnegative_v1_75t.pt
cd stable-diffusion-webui/models/Lora && wget -c https://huggingface.co/Kanbara/doll-likeness-series/resolve/main/koreanDollLikeness_v10.safetensors

  • 處理報錯
# 報錯
Could not load library libcudnn_cnn_infer.so.8. Error: libnvrtc.so: cannot open shared object file: No such file or directory
Aborted
# 解決
export LD_LIBRARY_PATH=/usr/local/lib/python3.10/dist-packages/nvidia/cudnn/lib/

# 儲存映象報錯
failed to push image registry-vpc.cn-hangzhou.aliyuncs.com/aleimu123/stablediffusion-webui:v1, please try again later, failed to commit image, error: different regsitry for base images and commit image

dsw-registry-vpc.cn-hangzhou.cr.aliyuncs.com/cloud-dsw/eas-service:aigc-torch113-cu117-ubuntu22.04-v0.2.1_accelerated
# 經過工單詢問得知,阿里雲官方提供的映象(_accelerated)都不支援儲存
  • 不要使用阿里雲的pip映象源,安裝GFPGAN有問題,換成清華源即可.
vim ~/.pip/pip.conf

[global] 
index-url = https://pypi.tuna.tsinghua.edu.cn/simple 
[install] 
trusted-host = pypi.tuna.tsinghua.edu.cn
  • 常用命令和操作
# 非root映象,用root啟動
docker run -ti --entrypoint /bin/bash -u root 41c15e30f4ff

# 補全常用命令列
vim /etc/apt/sources.list
apt-get install pciutils
apt-get install cron
apt-get install iputils-ping
apt-get install net-tools
apt install vim
apt-get install systemctl

# 啟動相關
cd stable-diffusion-webui && python -m venv --system-site-packages --symlinks venv
cd stable-diffusion-webui && sed -i 's/can_run_as_root=0/can_run_as_root=1/g' webui.sh 
./webui.sh 

# 安裝下ossutil的命令列,方便上傳東西到oss裡
apt-get install p7zip-full
curl https://gosspublic.alicdn.com/ossutil/install.sh | sudo bash
ossutil config

# 記得最後清理下快取,避免儲存的映象過大
apt-get clean
cd ~/.cache/pip && rm -rf *

必裝外掛

git clone https://github.com/DominikDoom/a1111-sd-webui-tagcomplete.git
git clone https://github.com/pkuliyi2015/multidiffusion-upscaler-for-automatic1111.git
git clone https://github.com/fkunn1326/openpose-editor.git
git clone https://github.com/adieyal/sd-dynamic-prompts.git
git clone https://github.com/vladmandic/sd-extension-system-info.git
git clone https://github.com/Mikubill/sd-webui-controlnet.git
git clone https://github.com/continue-revolution/sd-webui-segment-anything.git
git clone https://github.com/hako-mikan/sd-webui-supermerger.git
git clone https://github.com/VinsonLaro/stable-diffusion-webui-chinese
git clone https://github.com/AlUlkesh/stable-diffusion-webui-images-browser.git
git clone https://github.com/sdbds/stable-diffusion-webui-wildcards.git

安裝訓練指令碼

按照https://github.com/Akegarasu/lora-scripts 的檔案安裝就好,沒啥好說的.

最後

一切都裝好了,執行也沒問題,點一下儲存映象不用時停止例項,雖然是白嫖來的但也省著點花,減少碳排放人人有責

常用連線

相關文章