sd基礎
工作原理&入門
輸入提示詞後 有文字編碼器將提示詞編譯成特徵向量，vae編碼器將特徵向量傳入潛空間內，特徵向量在潛空間內不斷降噪，最後透過vae解碼器將降噪之後的特徵向量 解碼成一個個畫素組成的圖片
一般選中預設vae模型
解碼編碼的模型
CLIP值越大，提前停止的越快，我們提示詞被數字化的層數越少，提示詞的相關性越小。反之越小越能豐富提示詞
CLIP終止層數一般為2
其他功能
1.Hires.fix 高畫質修復
2.Refiner 當渲染到80% 切換另一個模型渲染
3.CFG 一般為5-10 越小ai越自由，越高越靠近提示詞
4.隨機種子 提示詞一樣，隨機種子一樣則可以在不同電腦生成相同圖片
5.迭代步數越高 20-30 圖片質量越高，步數過高則失真，且消耗更多時間，有時候還沒有效果
ADetailer 修復人物的臉
取樣方法 DPM++2M
網站，模型推薦
liblib NovelAI hugingface promlib civitai github
majicmix dreamshaper primemix architectrealmix
提示詞 語法
英文和英文的標題符號
權重
數字越高權重越高，畫面著重描述什麼
[cat]=(cat:0.9)
(cat)=(cat:1.1)
{cat}=(cat:1.05)
[[cat]]=(cat:0.9x0.9)=(cat:0.81)
((cat))=(cat:1.1x1.1)=(cat:1.21)
ctrl + 上箭頭 可以快捷調節 權重多低都行，過高則不行，會失真
短句與長句
一個一個詞的拼寫，而不是一句話呢
一個個片語會更準確，而且好調整權重
提示詞控制在75個以內，正反向一樣，不超過75
起手式
正向 4k masterpiece 會讓圖片更加精美
反向則用 text blur之類
有修飾詞
提示詞順序，越靠前權重越高
no.1 畫質詞/畫風詞
no.2 主題 one girl
no.3 環境/場景/構圖
no.4 lora
提示詞汙染
1girl,blue dress,pink hair,green umbrella,
1girl,blue dress,red hair,puple umbrella,
防止提示詞尤其是顏色相互滲透 使用break隔開
提示詞融合
1girl,cat 貓在女孩身上
1girl And cat 貓娘 (1girl_cat 有同樣效果)
[cat|dog] 也有融合效果
{forest:1girl:0.3} 在30%的時候結束畫forest
{forest:1girl:0.7} 在70%的時候結束畫forest
圖生圖&高畫質修復
透過圖片加提示詞生成結果
使用預設起手式，並新增進提示詞
透過外掛來快速選擇自己想要的提示詞
masterpiece,best quality,1girl,police,glamor,in summer,street,
將參考圖拖入圖生圖並增加提示詞
masterpiece,best quality,1girl,police,glamor,in summer,street,coat,
增加提示詞coat，透過原圖再次生圖
圖生圖重繪幅度，不過高也不過低 0.3-0.5結果圖與參考圖之間差距不會太大
0.5-0.7賦予ai更多想象空間
低於0.3 或大於 0.7則扭曲變形
區域性重繪，增加sunglasses提示詞
upscale 二次元
GAN 4X Anime6B 適合動漫放大 (Gan生成式對抗網路簡稱)
重繪幅度 0.3-0.5安全區間 0.5-0.7ai自由領域
放大倍數x2 512 變為1024
文生圖介面
文生圖介面的放大需要鎖定種子
再次點選小圖示來到圖生圖，再次放大
無需鎖定種子
再次放大 模型放大
從512縮放到1024
controlnet
風格轉換 softedge
最開始能透過線條處理還原參考圖的只有canny
canny 硬邊緣 canny將參考圖透過細線勾勒出來 架構基於相鄰畫素計算差值，死板，圖片會出現莫名奇妙的元素
softedge 全能模型 將主體勾勒
開啟外掛controlnet
pidinet 與 hed
hed 保留圖片更多細節，完整性好 建築，場景
pidinet 能夠更好保留主體，忽視細節 人物
使用真實系的模型，將二次元圖片好好描述
線稿上色 Lineart
lineart多用於線稿上色動漫類影像處理
mj 生成線稿
點選爆炸按鈕後，會有去下載外掛，如控制檯顯示git網路失敗，手動去下載到相應目錄解壓
最好寬高比 和原來圖片一樣 也就是寬度和高度
controlnet-2
openpose 姿態管理
姿態成功控制
dw_openpose_full效果最好
根據參考圖圖片高寬一致
depth [空間關係]
場景 比如教堂
softedge + depth
控制線條分佈 + 深度
depth
預處理用了hedsafe
softedge
負面提示詞這裡因為是建築，所以去除finger有關
可以透過提示詞來改變教堂顏色
人物
softedge openpose depth ipadapter
線條分佈 繫結骨骼 空間關係 面部特徵遷移/風格一致性
tile
參考圖模糊，再分割槽塊重取樣 結果圖細節更豐富
可以將圖片拖入controlnet的單張圖片，再次tile。可以看到葉子的紋路
controlnet Ipadapter
ipadapter 可以去hugingface裡下載，根據字尾放在指定目錄
換臉
材質遷移
風格遷移
換臉
生成一張圖片，為參考圖
將參考圖拖進ipadapter
寫實換臉，上傳了自己的圖片
材質遷移
ipdapter
softedge
depth
midas也不錯
材質很重要，如果用下圖材質則使用crystal materials
Ipadapter-1
風格遷移
選擇綜合性強的大模型 dreamshaper
生成參考圖
風格轉換 style transfer
點選生成，
生成成功後，高畫質放大
直接更換風格
甚至可以根據動漫角色的畫風，直接變換
ipadapter與openpose綜合運用
controlnet unit1 ipadapter
生成骨骼圖
controlnet unit2 openpose
寫提示詞增加lora
要和骨骼圖一樣比例
有lora則更靠近赫敏的圖片
綜合案例使用
室內設計
大模型選擇 Architecturerealmix
unit 1 mlsd處理完只包含直線
unit 2
生成毛坯房
Unfinished, nothing, no furniture, rough, house interior
精裝修
ModernRoomDesign,Interior design,modern simplicity,green,(masterpiece),(high quality),best quality,real,(realistic),super detailed,(full detail),(4k),modern,fashion,grand,vista,(high floor:1.2),
去到圖生圖
改變關鍵詞然後圖生圖
如果成品出來還想改變，繼續圖生圖
如果想要桌布變成自己圖片的風格，透過勾選上傳獨立的控制影像
使用ipadapter，進行渲染
如果沒有空間深度則繼續使用depth
stable diffusion基礎[liblib]
正向提示詞
人物特徵
1girl,solo,
suspender dress,headdress,delicate eyes,beautiful face,shallow smile,snow-white skin,elegant standing,
場景特點
outdoor,blue sky,white clouds,flowers,grass,
場景設定 [天氣與光線與白天和黑夜]
day,night sunset，rain shrong rim light
movie light,light tracking,
場景形容詞
beautifful ,happy
生圖示準 [畫質與風格]
8k，highest quality，high resolution
Comic Watercolor Realistic Abstract
1girl,solo,
suspender dress,headdress,delicate eyes,beautiful face,shallow smile,snow-white skin,elegant standing,
outdoor,blue sky,white clouds,flowers,grass,
movie light,light tracking,
beautiful,happy,
8k，highest quality，high resolution,
realistic,extreme detail
負向
low quality,blurry,bad proportions,cropped,watermark
ugly,bad body,missing fingers,extra feet
NSFW text logo
引數
eular a畫筆選擇，根據推薦來，其實都差不多
步數15-25,過高也不會有用
comfyui嘗試
sd 掛lora+漢化工作流
圖片有後設資料
可以透過拉取圖片來獲得工作流
comfyui 大部分問題可以透過離線安裝的方式解決 google可以解決。每當報錯
透過日誌去檢視，工作流報紅，缺模型就安裝模型，缺外掛安裝外掛，缺什麼裝什麼