「See Video, Get 3D」，智源開源無標註影片學習3D生成模型See3D

近日，著名 AI 學者、史丹佛大學教授李飛飛團隊 World Labs 推出首個【空間智慧】模型，僅輸入單張圖片，即可生成一個逼真的 3D 世界，這被認為是邁向空間智慧的第一步。

幾乎同時，國內智源研究院推出了首個利用大規模無標註的網際網路影片學習的 3D 生成模型 See3D---See Video, Get 3D。不同於傳統依賴相機引數（pose-condition）的 3D 生成模型，See3D 採用全新的視覺條件（visual-condition）技術，僅依賴影片中的視覺線索，生成相機方向可控且幾何一致的多視角影像。這一方法不依賴於昂貴的 3D 或相機標註，能夠高效地從多樣化、易獲取的網際網路影片中學習 3D 先驗。See3D 不僅支援零樣本和開放世界的 3D 生成，還無需微調即可執行 3D 編輯、表面重建等任務，展現出在多種 3D 創作應用中的廣泛適用性。

^{See3D 支援從文字、單檢視和稀疏檢視到 3D 的生成，同時還可支援 3D 編輯與高斯渲染。}

• 論文地址: https://arxiv.org/abs/2412.06699
• 專案地址: https://vision.baai.ac.cn/see3d

1. 解鎖 3D 互動世界：輸入圖片，生成沉浸式可互動 3D 場景，實時探索真實空間結構；

2. 基於稀疏圖片的 3D 重建：輸入稀疏的 (3-6 張) 圖片，模型可生成一個精細化的 3D 場景。 ^{基於 6 張檢視的 3D 重建}

3. 開放世界 3D 生成：根據文字提示，生成一副藝術化的圖片，基於此圖片，模型可生成一個虛擬化的 3D 場景。

4. 基於單檢視的 3D 生成：輸入一張真實場景圖片，模型可生成一個逼真的 3D 場景。

1）資料集：團隊提出了一個影片資料篩選流程，自動去除源影片中多視角不一致或觀察視角不充分的影片，構建了一個高質量、多樣化的大規模多視角影像資料集 WebVi3D。該資料集涵蓋來自 1600 萬個影片片段的 3.2 億幀影像，可透過自動化流程隨網際網路影片量的增長而不斷擴充。

^{WebVi3D 資料集樣本展示}

^{See3D 方法展示}