AIxiv專欄是機器之心釋出學術、技術內容的欄目。過去數年，機器之心AIxiv專欄接收報導了2000多篇內容，覆蓋全球各大高校與企業的頂級實驗室，有效促進了學術交流與傳播。如果您有優秀的工作想要分享，歡迎投稿或者聯絡報導。投稿郵箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com
本文的主要作者來自多倫多大學、Snap Inc.和UCLA的研究團隊。第一作者為多倫多大學博士生梁漢文和Snap Inc.的曹軍力，他們專注於影片生成以及3D/4D場景生成與重建的研究，致力於創造更加真實、高質量的3D和4D場景。團隊成員期待與更多志同道合的研究者們交流與合作。
論文地址: https://arxiv.org/abs/2412.12091
專案主頁：https://snap-research.github.io/wonderland/
向影片擴散模型中嵌入 3D 意識：透過向影片擴散模型中引入相機位姿控制，Wonderland 在影片 latent 空間中嵌入了場景的多視角資訊，並能保證 3D 一致性。影片生成模型在相機運動軌跡的精準控制下，將單張影像擴充套件為包含豐富空間關係的多視角影片。
雙分支相機控制機制：利用 ControlNet 和 LoRA 模組，Wonderland 實現了在影片生成過程中對於豐富的相機視角變化的精確控制，顯著提升了多視角生成的影片質量、幾何一致性和靜態特徵。
大規模 latent-based 3D 重建模型（LaLRM）：Wonderland 創新地引入了 3D 重建模型 LaLRM，利用影片生成模型生成的 latent 直接重構 3D 場景（feed-forward reconstruction）。重建模型的訓練採用了高效的逐步訓練策略，將影片 latent 空間中的資訊轉化為 3D 高斯點分佈（3D Gaussian Splatting, 3DGS），顯著降低了記憶體需求和重建時間成本。憑藉這種設計，LaLRM 能夠有效地將生成和重建任務對齊，同時在影像空間與三維空間之間建立了橋樑，實現了更加高效且一致的廣闊 3D 場景構建。
(以下展示均為從建立的3DGS Rendering出的結果)
雙分支相機條件策略：透過引入雙分支相機條件控制策略，影片擴散模型能夠生成 3D-geometry 一致的多檢視場景捕捉，且相較於現有方法達到了更精確的姿態控制。
Zero-shot 3D 場景生成：在單影像輸入的前提下，Wonderland 可進行高效的 3D 場景前向重建，在多個基準資料集（例如 RealEstate10K、DL3DV 和 Tanks-and-Temples）上的 3D 場景重建質量均優於現有方法。
廣覆蓋場景生成能力：與過去的 3D 前向重建通常受限於小視角範圍或者物體級別的重建不同，Wonderland 能夠高效生成廣範圍的複雜場景。其生成的 3D 場景不僅具備高度的幾何一致性，還具有很強的泛化性，能處理 out-of-domain 的場景。
超高效率：在單張影像輸入的問題設定下，利用單張 A100，Wonderland 僅需約 5 分鐘即可生成完整的 3D 場景。這一速度相比需要 16 分鐘的 Cat3D 提升了 3.2 倍，相較需要 3 小時的 ZeroNVS 更是提升了 36 倍。