Stable Diffusion 模型,已經成為 AI 行業從傳統深度學習時代走向 AIGC 時代的標誌性里程碑。越來越多的開發者藉助 stable-diffusion-webui (以下簡稱 SDWebUI) 能力進行 AI 繪畫領域創業或者業務上新,獲得高流量及商業價值,但是面對多客戶、高併發的複雜場景,使用原生 Stable Diffusion API 會面臨以下挑戰:
- 顯示卡資源昂貴且難以購買,GPU卡池管理技術門檻高:高效能的 GPU 資源不僅價格昂貴,而且往往難以大規模採購。此外,GPU 卡池的有效管理和維護需要複雜的技術支援,也帶來了額外的挑戰。
- 難以應對高併發:原生的 Stable Diffusion API 採用單例項推理模式,其併發處理能力有限。在面對高併發場景時,尤其是併發請求具有大的波動性時,資源配置難以精確預測,從而可能導致系統錯誤和業務中斷。
- 多模型切換難度大:當不同模型的請求在高併發條件下同時傳送到同一例項時,頻繁的模型切換成為一個顯著的瓶頸。這種切換不僅消耗巨大,而且影響了推理效率,使得多模型部署在實際應用中變得複雜和低效。
為了幫助使用者高效率、低成本應對企業級複雜場景,函式計算團隊正式推出 Stable Diffusion API Serverless 版解決方案,透過使用該方案,使用者可以充分利用 Stable Diffusion +Serverless 技術優勢快速開發上線 AI 繪畫應用,期待為廣大開發者 AI 繪畫創業及變現提供思路。
應用場景
Stable Diffusion API Serverless 版本提供了多種可能性,以適應不同的應用場景和業務需求。
- 個性化內容創作:利用 Stable Diffusion API,內容創作者和數字藝術家可以快速生成個性化的藝術作品和影像。例如,藝術家可以根據使用者的描述或關鍵詞,即時創作出獨特的藝術風格影像,實現個性化的藝術創作和使用者互動。
- 廣告和市場營銷:在廣告和市場營銷領域,Stable Diffusion API 可以用來生成吸引人的視覺內容,從而增強廣告效果。例如,企業可以根據產品特性和目標受眾的偏好,快速建立多樣化的廣告影像,以提升品牌形象和市場吸引力。
- 遊戲和娛樂產業:在遊戲和娛樂產業中,Stable Diffusion API 可以被用來增強使用者體驗,透過生成獨特的遊戲背景、角色和元素來豐富遊戲世界。例如,遊戲開發者可以使用 API 來設計獨特的遊戲環境和角色,為玩家提供更豐富和個性化的遊戲體驗。
方案優勢
Stable Diffusion API Serverless 版本在多方面提供了顯著的優勢,特別是在簡化部署、成本效率、推理效率、資源管理、併發處理和使用者體驗上。以下是這些優勢的具體體現:
- 上手簡單,快速部署:藉助阿里雲 Serverless 應用中心,使用者可以實現快速部署,大幅簡化傳統 Stable Diffusion API 的複雜部署流程。這使得開發者能夠快速上手並專注於應用的開發和創新。
- 計費靈活,成本效益顯著:Serverless 版本提供按需計費模式,使用者僅需為實際使用的資源付費,無需預先投資昂貴的硬體。這種靈活的計費方式大幅降低了總體成本,尤其適合資源需求波動的場景。
- 最佳化的模型管理,提升推理效率:透過最佳化多模型的管理和部署,Serverless 版本有效提高了推理效率。減少模型切換和載入的頻率,確保了快速、穩定的推理效能。
- 自動擴縮容,高效資源管理:利用自動擴縮容機制,Serverless 版本根據實時需求靈活調整資源使用,避免了資源浪費並保障了服務的連續性。
- 非同步處理和排隊機制,最佳化併發處理:Serverless 版本透過引入非同步處理和高效排隊機制,克服了高併發場景下的挑戰,保證了服務的高可用性和響應速度。
總之,Stable Diffusion API Serverless 版本整合了阿里雲 Serverless 技術的核心優勢,提供了一種高效、成本有效且使用者友好的解決方案,為開發者在 AI 繪畫和其他 AI 應用領域的創新和商業化提供支援。
方案架構圖
名詞解釋:
- admin,提供模型管理,包括模型上傳+刪除等
- webui,提供介面化的除錯功能,主要是模型和引數調整、外掛安裝等,達到更好出圖效果
- proxy,API的前端服務,提供非推理之外的功能,主要包括結果、進度查詢等
- control,控制推理例項最大併發例項數。透過控制control的併發度,控制下游多函式推理服務的例項數
- agent+sd-api, 推理服務,
- 一個模型(checkpoints)建立一個函式,每個函式支援彈多個例項,總的例項數透過control併發度進行控制。
- 之所以一個模型(checkpoints)建立一個函式,是為了避免多模型併發推理使用場景下的模型間的頻繁切換帶來的開銷,提升推理效率,進而達到給使用者降本的效果
- sd_ 開頭的都是動態建立函式
注意事項:
- 使用過程中會動態建立sdapi函式,每個checkpoint對應一個函式,並且會在ots中function表中記錄對應的函式詳情。如果想刪除動態建立的函式,請清理對應ots中function表的函式記錄,避免後續呼叫出問題
- 非同步推理結果會預設存放到oss中,存放到image/default路徑下
部署 Stable Diffusion API Serverless 版
準備工作
開通雲產品
- 函式計算FC:用於提供 CPU+GPU 算力
- 物件儲存 OSS:用於儲存輸出圖片結果;同時儲存請求中的中轉圖片,便面直接傳遞 base64導致超出請求的 body 限制
- 表格儲存Tablestore:用於儲存推理結果、函式資訊等
- 檔案儲存 NAS: 用於多節點共享儲存空間
部署 Stable Diffusion Serverless API
- 進入函式計算FC 3.0 控制檯,點選左側“應用”進行應用中心。如果老使用者曾經建立過應用,點選“建立應用”也可直達應用中心
注意:一定要確保左上角是“函式計算 FC 3.0” 如果不是可以檢視右上角找到“進入函式計算3.0”
- 點選“人工智慧”分類,選擇“fc-stable-diffusion-v3”模版,點選“立即建立”
- 確定詳細引數進行應用建立,您可以重點注意三個資訊的填寫,其他使用預設值即可。
- 地域:選擇距離您較近的地區,如果後續有更多出圖需要,可以考慮選擇海外地區,以方便 hugging face 等網站的連線
- 名稱空間:如果您已經部署多個 SD,請在這裡進行區分,新使用者可使用預設值
- 繪圖型別:選擇藝術字
- 首次使用需要額外的許可權,可以根據提示“前往授權”
- 點選“建立應用”,勾選瞭解內容,點選“同意並繼續部署”,等待大約1分鐘
- 生成 WebUI 域名(注意保護此連結不外傳以免耗費您賬戶的費用),不要點選連結,直接切換到右側“ Serverless API "
- 點選“Serverless API" 點選“初始化 Serverless API",再次確認已經開通“FC、OSS、OTS” 三款產品,勾選“已閱讀”點選“下一步”
- 進行“角色名”的授權,勾選“啟用 Serverless API",OTS例項建立方式可以預設“自動建立”,確認後等待大約 30秒
- 建立好 Serverless API,就可以參考下面API定義開始進行測試生產使用。
Stable Diffusion API Serverless 版支援的 API 詳情
API 介面主要分兩類
- 非推理類介面,用於結果和進度查詢、模型管理、應用重啟等
- 推理類介面,文生圖、圖生圖、圖片放大等
具體可以參考: https://github.com/devsapp/serverless-stable-diffusion-api/blob/main/api/api.yaml
模型相關 API
模型的註冊、更新和刪除都透過admin介面化操作即可
獲取模型列表 API
GET /models
response:
[
{
"type": "stableDiffusion",
"name": "model_v1",
"ossPath": "/path/to/oss/model_v1",
"etag": "3f786850e387550fdab836ed7e6dc881de23001b",
"status": "loaded", // registering|loading|loaded|unloaded|deleted
"registeredTime": "2023-01-01T12:00:00Z",
"lastModificationTime": "2023-01-10T12:00:00Z"
}
]
推理相關 API
支援文生圖和圖生圖
支援同步模式和非同步模式兩種,預設同步模式
- 同步模式, header中新增{"Request-Type":"sync"},不新增預設為同步模式
- 非同步模式, header中新增
推理結果會同步儲存到oss和ots中,可以透過/tasks/{taskId}/result介面獲取推理結果(oss圖片地址、推理引數等)
txt2img
POST /txt2img
request: 其中stable_diffusion_model, sd_vae新加欄位,其他保持跟原生webui:txt2img保持一致
其中controlnet中圖片支援兩種格式:
- 圖片的base64編碼: 備註:base64請求存在超過FC非同步請求body上限可能,如果超過上限請使用oss方式
- oss上圖片路徑,支援png/jpg/jpeg
{
"stable_diffusion_model": "diffusion_v1", // sd主模型
"sd_vae": "vae_v1", // vae模型
"enable_hr": true,
"denoising_strength": 0.5,
"firstphase_width": 640,
"firstphase_height": 480,
"hr_scale": 2,
"hr_upscaler": "upscale_method_v1",
"hr_second_pass_steps": 10,
"hr_resize_x": 1280,
"hr_resize_y": 960,
"hr_sampler_name": "sampler_v1",
"hr_prompt": "High resolution prompt",
"hr_negative_prompt": "Negative high resolution prompt",
"prompt": "Mountain landscape during sunset",
"styles": [
"style1",
"style2"
],
"seed": 123456,
"subseed": 789,
"subseed_strength": 5,
"seed_resize_from_h": 480,
"seed_resize_from_w": 640,
"sampler_name": "sampler_v2",
"batch_size": 32,
"n_iter": 1000,
"steps": 100,
"cfg_scale": 1,
"width": 640,
"height": 480,
"restore_faces": true,
"tiling": false,
"do_not_save_samples": false,
"do_not_save_grid": false,
"negative_prompt": "Avoid mountains",
"eta": 5,
"s_min_uncond": 1,
"s_churn": 3,
"s_tmax": 10,
"s_tmin": 1,
"s_noise": 2,
"override_settings": {
"settingKey": "settingValue"
},
"override_settings_restore_afterwards": true,
"script_args": [
{
"argKey": "argValue"
}
],
"sampler_index": "index_v1",
"script_name": "script_v1",
"send_images": true,
"save_images": true,
"alwayson_scripts": {
"controlnet": {
"args": [
{
"image":"base64srcimg|image/default/xxxx.png", //支援傳輸base64和oss對應圖片path(png/jpg/jpeg)
"enabled":True,
"module":"canny",
"model":"control_v11p_sd15_scribble",
"weight":1,
"resize_mode":"Crop and Resize",
"low_vram":False,
"processor_res":512,
"threshold_a":100,
"threshold_b":200,
"guidance_start":0,
"guidance_end":1,
"pixel_perfect":True,
"control_mode":"Balanced",
"input_mode":"simple",
"batch_images":"",
"output_dir":"",
"loopback":False
}
]
}
}
}
response:
{
"status":"succeeded", // 推理任務狀態
"taskId":"1HmyrbhBJD", // 推理任務id, 後續結果獲取,進度查詢,取消推理都依賴於該id
"ossUrl" :["xxxxx"] // 同步模式下返回的oss上圖片臨時地址(有一定時效性)
}
img2img
POST /img2img
request: 其中stable_diffusion_model,sd_vae新加欄位,其他保持跟原生webui:img2img保持一致
其中controlnet和init_images中圖片支援兩種格式:
- 圖片的base64編碼:備註:base64請求存在超過FC非同步請求body上限可能,如果超過上限請使用oss方式
- oss上圖片路徑,支援png/jpg/jpeg
{
"stable_diffusion_model": "diffusion_v2", // sd主模型
"sd_vae": "vae_v2", // vae模型
"init_images": [ //支援base64、oss圖片地址兩種格式
"Base64SrcImg|ossPath",
"Base64SrcImg|ossPath"
],
"resize_mode": 1,
"denoising_strength": 0.8,
"image_cfg_scale": 2,
"mask": "mask_path",
"mask_blur": 3,
"mask_blur_x": 2,
"mask_blur_y": 2,
"inpainting_fill": 4,
"inpaint_full_res": true,
"inpaint_full_res_padding": 2,
"inpainting_mask_invert": 0,
"initial_noise_multiplier": 5,
"prompt": "Forest landscape",
"styles": [
"styleA",
"styleB"
],
"seed": 654321,
"subseed": 987,
"subseed_strength": 6,
"seed_resize_from_h": 480,
"seed_resize_from_w": 640,
"sampler_name": "sampler_v3",
"batch_size": 64,
"n_iter": 500,
"steps": 50,
"cfg_scale": 2,
"width": 1280,
"height": 960,
"restore_faces": false,
"tiling": true,
"do_not_save_samples": false,
"do_not_save_grid": true,
"negative_prompt": "Avoid forests",
"eta": 6,
"s_min_uncond": 2,
"s_churn": 4,
"s_tmax": 11,
"s_tmin": 2,
"s_noise": 3,
"override_settings": {
"settingKeyV2": "settingValueV2"
},
"override_settings_restore_afterwards": false,
"script_args": [
"arg1",
"arg2"
],
"sampler_index": "index_v2",
"include_init_images": false,
"script_name": "script_v2",
"send_images": false,
"save_images": true,
"alwayson_scripts": {
"controlnet": {
"args": [
{
"image":"base64srcimg|ossPath", //支援base64、oss圖片地址兩種格式
"enabled":True,
"module":"canny",
"model":"control_v11p_sd15_scribble",
"weight":1,
"resize_mode":"Crop and Resize",
"low_vram":False,
"processor_res":512,
"threshold_a":100,
"threshold_b":200,
"guidance_start":0,
"guidance_end":1,
"pixel_perfect":True,
"control_mode":"Balanced",
"input_mode":"simple",
"batch_images":"",
"output_dir":"",
"loopback":False
}
]
}
}
}
response:
{
"status":"succeeded", // 推理任務狀態
"taskId":"1HmyrbhBJD", // 推理任務id, 後續結果獲取,進度查詢,取消推理都依賴於該id
"ossUrl" :["xxxxx"] // 同步模式下返回的oss上圖片臨時地址(有一定時效性)
}
圖片處理 API
圖片放大
圖片放大, 支援單張圖片處理,暫不支援批次處理。respone返回taskId,呼叫獲取結果介面獲取圖片地址即可
其中image支援兩種格式:
- 圖片的base64
- oss上圖片路徑,支援png/jpg/jpeg
POST /extra_images
request:
{
"resize_mode": 0,
"show_extras_results": True,
"gfpgan_visibility": 0,
"codeformer_visibility": 0,
"codeformer_weight": 0,
"upscaling_resize": 4,
"upscaling_crop": True,
"upscaler_1": "Lanczos",
"upscaler_2": "None",
"extras_upscaler_2_visibility": 0,
"upscale_first": False,
"image":self.file_to_base64(),
"image" : "base64|ossPath" //支援傳輸base64和oss對應圖片path(png/jpg/jpeg)
}
response:
{
"status":"succeeded",
"taskId":"TovRrc0Jnr",
"ossUrl" :["xxxxx"] // 同步模式下返回的oss上圖片臨時地址(有一定時效性)
}
結果相關 API
獲取結果
透過taskid獲取推理結果
GET /tasks/{taskId}/result
response:
{
"images":[
"images/admin/Xldf9m80im_1.png" // images 推理結果, oss圖片path
],
"ossUrl" :["xxxxx"], oss上圖片臨時地址(有一定時效性)
"info":{ // info 推理過程中產生資訊
"all_negative_prompts":[
""
],
"all_prompts":[
"cute beautiful blonde, very detailed, 21 years old, inoccent face, natural wave hair, blue eyes, high-res, masterpiece, best quality,intricate details, highly detailed,sharp focus, detailed skin,realistic skin texture,texture, detailed eyes \u003clora:shuimobysimV3:1\u003e"
],
"all_seeds":[
3896184641
],
"all_subseeds":[
6579621
],
"alwayson_scripts":"",
"batch_size":1,
"cfg_scale":7,
"clip_skip":1,
"denoising_strength":0,
"do_not_save_grid":false,
"do_not_save_samples":false,
"enable_hr":false,
"eta":null,
"extra_generation_params":{
},
"face_restoration_model":null,
"firstphase_height":0,
"firstphase_width":0,
"height":512,
"hr_negative_prompt":"",
"hr_prompt":"",
"hr_resize_x":0,
"hr_resize_y":0,
"hr_sampler_name":null,
"hr_scale":2,
"hr_second_pass_steps":0,
"hr_upscaler":null,
"index_of_first_image":0,
"infotexts":[
"cute beautiful blonde, very detailed, 21 years old, inoccent face, natural wave hair, blue eyes, high-res, masterpiece, best quality,intricate details, highly detailed,sharp focus, detailed skin,realistic skin texture,texture, detailed eyes \u003clora:shuimobysimV3:1\u003e\nSteps: 50, Sampler: Euler, CFG scale: 7.0, Seed: 3896184641, Size: 512x512, Model hash: 18ed2b6c48, Model: xxmix9realistic_v40, Denoising strength: 0, Version: v1.5.1"
],
"is_using_inpainting_conditioning":false,
"job_timestamp":"20230828073155",
"n_iter":1,
"negative_prompt":"",
"override_settings":{
},
"override_settings_restore_afterwards":true,
"prompt":"cute beautiful blonde, very detailed, 21 years old, inoccent face, natural wave hair, blue eyes, high-res, masterpiece, best quality,intricate details, highly detailed,sharp focus, detailed skin,realistic skin texture,texture, detailed eyes \u003clora:shuimobysimV3:1\u003e",
"restore_faces":false,
"s_churn":0,
"s_min_uncond":0,
"s_noise":1,
"s_tmax":null,
"s_tmin":0,
"sampler_index":"Euler",
"sampler_name":"Euler",
"save_images":false,
"script_args":[
],
"script_name":null,
"sd_model_hash":"18ed2b6c48",
"seed":3896184641,
"seed_resize_from_h":-1,
"seed_resize_from_w":-1,
"send_images":true,
"steps":50,
"styles":[
],
"subseed":6579621,
"subseed_strength":0,
"tiling":false,
"width":512
},
"parameters":{ // parameters實際推理過程中的引數
"all_negative_prompts":[
""
],
"all_prompts":[
"cute beautiful blonde, very detailed, 21 years old, inoccent face, natural wave hair, blue eyes, high-res, masterpiece, best quality,intricate details, highly detailed,sharp focus, detailed skin,realistic skin texture,texture, detailed eyes \u003clora:shuimobysimV3:1\u003e"
],
"all_seeds":[
3896184641
],
"all_subseeds":[
6579621
],
"alwayson_scripts":"",
"batch_size":1,
"cfg_scale":7,
"clip_skip":1,
"denoising_strength":0,
"do_not_save_grid":false,
"do_not_save_samples":false,
"enable_hr":false,
"eta":null,
"extra_generation_params":{
},
"face_restoration_model":null,
"firstphase_height":0,
"firstphase_width":0,
"height":512,
"hr_negative_prompt":"",
"hr_prompt":"",
"hr_resize_x":0,
"hr_resize_y":0,
"hr_sampler_name":null,
"hr_scale":2,
"hr_second_pass_steps":0,
"hr_upscaler":null,
"index_of_first_image":0,
"infotexts":[
"cute beautiful blonde, very detailed, 21 years old, inoccent face, natural wave hair, blue eyes, high-res, masterpiece, best quality,intricate details, highly detailed,sharp focus, detailed skin,realistic skin texture,texture, detailed eyes \u003clora:shuimobysimV3:1\u003e\nSteps: 50, Sampler: Euler, CFG scale: 7.0, Seed: 3896184641, Size: 512x512, Model hash: 18ed2b6c48, Model: xxmix9realistic_v40, Denoising strength: 0, Version: v1.5.1"
],
"is_using_inpainting_conditioning":false,
"job_timestamp":"20230828073155",
"n_iter":1,
"negative_prompt":"",
"override_settings":{
},
"override_settings_restore_afterwards":true,
"prompt":"cute beautiful blonde, very detailed, 21 years old, inoccent face, natural wave hair, blue eyes, high-res, masterpiece, best quality,intricate details, highly detailed,sharp focus, detailed skin,realistic skin texture,texture, detailed eyes \u003clora:shuimobysimV3:1\u003e",
"restore_faces":false,
"s_churn":0,
"s_min_uncond":0,
"s_noise":1,
"s_tmax":null,
"s_tmin":0,
"sampler_index":"Euler",
"sampler_name":"Euler",
"save_images":false,
"script_args":[
],
"script_name":null,
"sd_model_hash":"18ed2b6c48",
"seed":3896184641,
"seed_resize_from_h":-1,
"seed_resize_from_w":-1,
"send_images":true,
"steps":50,
"styles":[
],
"subseed":6579621,
"subseed_strength":0,
"tiling":false,
"width":512
},
"taskId":"Xldf9m80im"
}
查詢進度
推理進度查詢
GET /tasks/{taskId}/progress, 同webui中的progress
response:
{
"currentImage":"",
"etaRelative":0.10594336,
"progress":0.99,
"state":{
"interrupted":false,
"job":"scripts_txt2img",
"job_count":1,
"job_no":0,
"job_timestamp":"20230828073155",
"sampling_step":49,
"sampling_steps":50,
"skipped":false
},
"taskId":"Xldf9m80im"
}
取消推理
取消對應任務
POST /tasks/{taskId}/cancellation
動態資源相關 API
獲取動態建立sd函式
獲取動態建立的sdapi函式
GET /list/sdapi/fucntions
response
{
"functions":[
{
"functionName":"sd_739f6de96fdbb66704296cd11ab3f96c182fde7f2cbbb127185b184a43414dea",
"model":"chilloutmix_NiPrunedFp16Fix.safetensors"
}
],
"status":"success"
}
更新動態建立sd資源
批次更新動態建立sd函式資源,比如映象、環境變數、cpu、視訊記憶體等。 其中models不指定代表更新所有動態建立sd函式資源
POST /batch_update_sd_resource
request
{
"models": ["chilloutmix_NiPrunedFp16Fix.safetensors"],
"cpu": 4,
"memorySize": 16384, // MB
"image": "xxx",
"extraArgs": "--api --nowebui --no-hashing",
"instanceType": "fc.gpu.ampere.1",
"gpuMemorySize": 16384, // MB
"timeout": 60, //s
"env": {},
"vpcConfig":{
"securityGroupId":"xxx",
"vSwitchIds":[
"xxx"
],
"vpcId":"xxx"
},
"nasConfig": {
"groupId" : 123,
"mountPoints": [
{
"enableTLS": true|false,
"mountDir": "xxx",
"serverAddr": "dddd"
}
],
"userId": 123
},
"mountPoints":[
{
"bucketName": "xxx",
"bucketPath": "xxx",
"endpoint": "xxx",
"mountDir": "ddd",
"readOnly": true|false
}
]
}
response
{
"status": "success|fail",
"failFuncList": ["xxx"], // 失敗的函式列表
"errMsg": ["xxxx"] //錯誤資訊
}
批次刪除動態建立函式介面
批次刪除動態建立的函式, 入參函式列表
POST /del/sd/functions
request
{
"functions":["xxxxx"]
}
responese
// status_code=200
{
"status":"success"
}
// status_code=500
{
"fails":[
{
"err":"xxxx",
"functionName":"xxxx"
}
],
"status":"fail"
}
其他介面
- 原生webui-api介面, 除了上面支援的功能介面,剩下的api介面
- 外掛自定義的api介面
其中支援同步、非同步模式+任務模式
- 同步/非同步, header中設定Request-Type, 其中值sync為同步模式,async為非同步模式, 不設定該值預設為同步模式, 非同步獲取結果需要從上面的獲取結果介面(tasks/{taskId}/result)獲取最終的結果
- 任務模式,header中設定Task-Flag,會將結果儲存到ots進行持久化, 同樣支援同步+非同步
最佳實踐
為了方便大家直觀體驗一下該解決方案成效,基於函式計算團隊開發者的基於 Stable Diffusion Serverless API 解決方案搭建的 AI 文字生成應用,作為一個實驗demo 開放體驗,期待為廣大開發者 AI 繪畫創業及變現提供一些有益思考。生成 AI 藝術字應用教程:https://developer.aliyun.com/article/1427587
部署成功的AI繪畫應用
眯著眼睛看看是什麼字?
開原始碼
github : https://github.com/devsapp/serverless-stable-diffusion-api
可以自己基於開原始碼加工開發
更多內容關注 Serverless 微信公眾號(ID:serverlessdevs),彙集 Serverless 技術最全內容,定期舉辦 Serverless 活動、直播,使用者最佳實踐。