英偉達開發最快 NeRf 技術:數秒內將 2D 照片合成為 3D 場景

六一發表於2022-05-06

75 年前寶麗來拍攝第一張即時照片的時候,以逼真的 2D 影像捕捉 3D 世界是開創性的,如今人工智慧研究人員正做著相反的事情,即幾秒內將一組靜止圖片轉換成 3D 數字場景。

上個月在英偉達 GTC 的一次會議中,英偉達演示了最新的人工智慧技術並致敬了早期的寶麗來影像,視訊中展示者穿著像 Andy Warhol,手持舊款寶麗來相機,通過數十張 2D 照片快速轉換成 3D 渲染場景。

這一過程被稱為反向渲染,使用人工智慧來模擬光線在現實世界中的行為,使研究人員能夠從不同角度拍攝的少量 2D 影像中重建三維場景。

英偉達將這種方法應用於一種流行的新技術,稱為神經輻射場或 NeRF。該工具被稱為 Instant NeRF,是由加州大學伯克利分校、加州大學聖地亞哥分校以及谷歌研究院在 2020 年聯合開發,通過對映不同 2D 鏡頭的顏色和光線強度生成資料,並結合攝像機位置資料,然後將這些來自不同位置的影像連線起來,渲染出一個完整的 3D 場景。

儘管 Instant NeRF 也需要拍攝照片的攝像頭角度資料,但該模型只需幾秒鐘就可以對幾十張靜態照片進行訓練,然後在幾十毫秒內渲染出最終的 3D 場景,是迄今為止最快的 NeRF 技術。

英偉達圖形研究副總裁 David Luebke 表示:“如果說多邊形網格等傳統 3D 表示類似於向量影像,那麼 NeRFs 就像點陣圖影像:它們密集地捕捉了物體或場景中光線的輻射方式。從這個意義上來說,Instant NeRF 對於 3D 的重要性可能就像數位相機和 JPEG 壓縮對於 2D 攝影一樣——極大地提高了 3D 捕捉和共享的速度、易用性和覆蓋範圍。”

未來,英偉達希望 Instant NeRF 可以為虛擬世界建立場景、以 3D 方式捕捉視訊會議參與者及其環境、為 3D 數字地圖重建場景,並用於訓練機器人和汽車自動駕駛技術等領域。

更多詳細內容檢視:

https://blogs.nvidia.com/blog...

https://nvlabs.github.io/inst...

相關文章