最近，兵馬俑、馬斯克以及各地網友跳科目三和網紅舞的影片陸續在社交媒體和朋友圈刷屏，這些大約10秒左右的影片都不是真人出鏡，均由大模型生成，這種低門檻的跳舞方式引發了網友的廣泛體驗，掀起了一波鬥舞狂潮「AI治癒了我的四肢不協調」
Swan是一款使用擴散模型實現的時域一致的人體影像動畫工具，它可以透過對人體影像進行擴散模型的運算，實現高質量、自然流暢的人體動畫效果，適用於人體動畫創作、虛擬角色設計等領域
Swan具有高度的可控性和靈活性，不管是平常動作、舞蹈或者是武術，都能完美還原，只需要上傳一段影片和人物照片，就能自動生成流暢的模仿影片，連手指的動作都能精準複製，甚至可以讓一把椅子也長出手跳同樣的舞蹈
Swan最新中文版：
百度網盤：https://pan.baidu.com/s/1QoGtuCjNMkEOrsJecGYULg?pwd=4ui0
技術創新
· 架構精簡：使用輕量級的卷積模組，負責從條件控制（如語義分割掩碼、關鍵點等）中提取特徵表示
· 交叉歸一化：使用主幹網路去噪特徵的均值μ和方差σ對控制模組輸出的特徵進行歸一化
· 條件控制注入策略：採用簡單的加法融合方式，避免了注意力機制等複雜操作引入的額外學習引數和不穩定性
· 選擇性引數訓練：從預訓練模型的不同網路層中等距取樣，形成用於訓練的引數子集
使用方法
1.上傳人物圖片
2.上傳動作影片
3.點選「Run Inference」按鈕開始生成
可以在“Command Output”介面檢視當前的執行進度，影片處理完畢會輸出資訊Moviepy - Video ready，生成的影片預設儲存在專案路徑的outputs資料夾下
注意事項
①專案安裝路徑不要包含中文
②推薦使用GTX1060以上顯示卡執行此專案
③使用過程中若不慎關閉軟體後臺，請重新開啟，並重新整理網頁