Stable Video 3D震撼登場：單圖生成無死角3D影片、模型權重開放

机器之心發表於2024-03-20
IDE3D模型

3D 生成領域迎來新的「SOTA 級選手」，支援商用和非商用。


Stability AI 的大模型家族來了一位新成員。

昨日，Stability AI 繼推出文生圖 Stable Diffusion、文生影片 Stable Video Diffusion 之後，又為社群帶來了 3D 影片生成大模型「Stable Video 3D」（簡稱 SV3D）。

該模型基於 Stable Video Diffusion 打造，能夠顯著提升 3D 生成的質量和多視角一致性，效果要優於之前 Stability AI 推出的 Stable Zero123 以及豐田研究院和哥倫比亞大學聯合開源的 Zero123-XL。

目前，Stable Video 3D 既支援商用，需要加入 Stability AI 會員（Membership）；也支援非商用，使用者在 Hugging Face 上下載模型權重即可。圖片
Stable Video 3D 的生成效果如下影片所示。Stable Video 3D震撼登場：單圖生成無死角3D影片、模型權重開放

Stability AI 提供了兩個模型變體，分別是 SV3D_u 和 SV3D_p。其中 SV3D_u 基於單個影像輸入生成軌道影片，不需要相機調整；SV3D_p 透過適配單個影像和軌道視角擴充套件了生成能力，允許沿著指定的相機路徑建立 3D 影片。

目前，Stable Video 3D 的研究論文已經放出，核心作者有三位。
圖片
  • 論文地址：https://stability.ai/s/SV3D_report.pdf
  • 部落格地址：https://stability.ai/news/introducing-stable-video-3d
  • Huggingface 地址：https://huggingface.co/stabilityai/sv3d

技術概覽

Stable Video 3D 在 3D 生成領域實現重大進步，尤其是在新穎檢視生成（novel view synthesis，NVS）方面。

以往的方法通常傾向於解決有限視角和輸入不一致的問題，而 Stable Video 3D 能夠從任何給定角度提供連貫檢視，並能夠很好地泛化。因此，該模型不僅增加了姿勢可控性，還能確保多個檢視中物件外觀的一致性，進一步改進了影響真實和準確 3D 生成的關鍵問題。

如下圖所示，與 Stable Zero123、Zero-XL 相比，Stable Video 3D 能夠生成細節更強、更忠實於輸入影像和多視角更一致的新穎多檢視。
圖片
此外，Stable Video 3D 利用其多視角一致性來最佳化 3D 神經輻射場（Neural Radiance Fields，NeRF），以提高直接從新檢視生成 3D 網格的質量。

為此，Stability AI 設計了掩碼分數蒸餾取樣損失，進一步增強了預測檢視中未見過區域的 3D 質量。同時為了減輕烘焙照明問題，Stable Video 3D 採用了與 3D 形狀和紋理共同最佳化的解耦照明模型。

下圖為使用 Stable Video 3D 模型及其輸出時，透過 3D 最佳化改進後的 3D 網格生成示例。

圖片

下圖為使用 Stable Video 3D 生成的 3D 網格結果與 EscherNet、Stable Zero123 的生成結果比較。

圖片架構細節

Stable Video 3D 模型的架構如下圖 2 所示，它基於 Stable Video Diffusion 架構構建而成，包含一個具有多個層的 UNet，其中每一層又包含一個帶有 Conv3D 層的殘差塊序列，以及兩個帶有注意力層（空間和時間）的 transformer 塊。
圖片
具體流程如下所示：

(i) 刪除「fps id」和「motion bucket id」的向量條件， 原因是它們與 Stable Video 3D 無關；
(ii) 條件影像透過 Stable Video Diffusion 的 VAE 編碼器嵌入到潛在空間，然後在通向 UNet 的噪聲時間步 t 處連線到噪聲潛在狀態輸入 zt；
(iii) 條件影像的 CLIPembedding 矩陣被提供給每個 transformer 塊的交叉注意力層來充當鍵和值，而查詢成為相應層的特徵；
(iv) 相機軌跡沿著擴散噪聲時間步被饋入到殘差塊中。相機姿勢角度 ei 和 ai 以及噪聲時間步 t 首先被嵌入到正弦位置嵌入中，然後將相機姿勢嵌入連線在一起進行線性變換並新增到噪聲時間步嵌入中，最後被饋入到每個殘差塊並被新增到該塊的輸入特徵中。

此外，Stability AI 設計了靜態軌道和動態軌道來研究相機姿勢調整的影響，具體如下圖 3 所示。
圖片
在靜態軌道上，相機採用與條件影像相同的仰角，以等距方位角圍繞物件旋轉。這樣做的缺點是基於調整的仰角，可能無法獲得關於物件頂部或底部的任何資訊。而在動態軌道上，方位角可以不等距，每個檢視的仰角也可以不同。

為了構建動態軌道，Stability AI 對靜態軌道取樣，向方位角新增小的隨機噪聲，並向其仰角新增不同頻率的正弦曲線的隨機加權組合。這樣做提供了時間平滑性，並確保相機軌跡沿著與條件影像相同的方位角和仰角迴圈結束。

實驗結果

Stability AI 在未見過的 GSO 和 OmniObject3D 資料集上，評估了靜態和動態軌道上的 Stable Video 3D 合成多檢視效果。結果如下表 1 至表 4 所示，Stable Video 3D 在新穎多檢視合成方面實現了 SOTA 效果。

表 1 和表 3 顯示了 Stable Video 3D 與其他模型在靜態軌道的結果，表明了即使是無姿勢調整的模型 SV3D_u，也比所有先前的方法表現得更好。

消融分析結果表明，SV3D_c 和 SV3D_p 在靜態軌道的生成方面優於 SV3D_u，儘管後者專門在靜態軌道上進行了訓練。
圖片
圖片
下表 2 和表 4 展示了動態軌道的生成結果，包括姿勢調整模型 SV3D_c 和 SV3D_p，後者在所有指標上實現了 SOTA。
圖片
圖片
下圖 6 中的視覺比較結果進一步表明，與以往工作相比，Stable Video 3D 生成的影像細節更強、更忠實於條件影像、多視角更加一致。
圖片
更多技術細節和實驗結果請參閱原論文。

相關文章