千百年來，人類都致力於記錄和解釋身處的物理世界。隨著電腦科學的發展，將物理世界數字化重建，不僅是長遠的理想，更是千行百業努力的當下工作。真實的數字化重建三維物理環境，進而從任意視角觀察重建的環境，是圖形學、計算機視覺領域每個人的終極夢想，也是虛擬擴增實境、元宇宙等眾多未來應用的基石。
華為 HDC2022 釋出了令人震撼的 3D 實景地圖，可以實現任意視角下 3D 物理環境的實景渲染。透過 2500 張照片，僅需 30 分鐘就可以構建出 5 平方公里的超精細數字世界，擁有釐米級精細化建築和真實光照還原能力。
華為 3D 實景地圖技術由畢業於史丹佛大學、現華為 2012 實驗室技術專家黃經緯博士及其團隊研發完成。先來看看使用實景渲染技術的室內外效果。
1 問題背景
從任意視角觀察一個三維場景被廣泛應用於遊戲領域。透過美術師繪製的三維場景加以標準的 CG 渲染管線，使用者可以自由的探索場景的每個角落。為了用自動化的手段得到更加真實的場景，計算機視覺從業人員致力於採集真實的物理世界的資料，用以重建一個孿生的三維場景供人預覽。然而經過數十年的發展，重建模型的渲染效果仍不足以替代人工生產的場景。為了進一步改善複雜光照場景下的渲染效果，光場重建和渲染技術被提出，並在小場景下得到了驚豔的效果。近些年，神經輻射場（NeRF）的概念，可用於同時重建複雜的幾何和光照。然而對於複雜的大場景，這些方案都存在一定的侷限性。華為 3D 實景地圖整合了各方案的優勢，從而可以在複雜大場景下進行高質量的真實重建和快速渲染。
2 相關工作的侷限與機遇
除去很多昂貴的三維重建解決方案，最接近商用的解決方案仍然是基於多視角圖片的三維重建。然而，重建技術往往假設表面在各視角下擁有一致的光照，因此無法處理高光、半透明物體的重建。光場重建模型可以根據不同視角採集的光線加權來處理複雜光照，但在表面重建錯誤的情況下，新視角下的渲染往往存在殘影。雖然神經輻射場（NeRF）技術使用複雜的模型能正確的概括真實場景，但恢復模型引數往往需要稠密採集的圖片，否則就成為一個欠約束問題，在稀疏採集的大場景下新視角的泛化性尤為欠缺。
然而，各個方案亦有他們的優勢。基於多視角圖片的各向同性光照假設，在大部分情況下都是實用的，基於搜尋深度資訊的本質使其擁有稀疏視角的高效重建並擁有很好的泛化性，能夠很好的彌補光場渲染和神經輻射場渲染的不足。光場渲染可以直接從採集的光線中獲取顏色，既保證真實，又無需像神經輻射場那樣最佳化複雜的 MLP 或者球諧函式。神經輻射場作為一個全域性模型，改善了傳統重建融合區域性重建結果無法全域性最佳化的情況，同時引入不透明度下的體渲染增強了模型描述環境的能力。
3 解決方案
華為 3D 實景地圖結合了各家所長，提出了顯式輻射場模型，系統模組如下：
第一階段，系統使用傳統三維重建方法對環境進行粗略構建，形成三角形網格。針對 3D 數字溪村場景，初始的幾何構建能力使系統能使用 500 米高空航拍的 2500 張圖片快速構建，並擁有新視角下渲染的泛化性。這個模型是粗模，雖然可以被直接用於渲染，但幾何和環境光照的恢復不夠真實。
在第二階段，粗模作為環境輪廓，被初始化為顯示輻射場。其具體的表達形式是純幾何的，即在粗模表面附近顯式的記錄不透明度為 1，其他地方不透明度為 0。接下來，系統使用採集的圖片和三維重建中獲取的圖片位姿進一步最佳化輻射場模型。具體而言，可以對於每個區域性區域進行區域增長式最佳化不透明度，從而過濾重建粗模中的噪音，並補全模型的缺失幾何。在此過程中，不同於神經輻射場對光照模型用 MLP 或球諧函式來表達，而是直接使用類似於光場渲染的取樣技術，快速獲得特定位置和方向上的最佳模型光照。取樣中由於使用加權平均的限制，空間中沒有表面的點與對應採集圖片相應畫素比，仍會引起較大的顏色誤差。因此，可以使用 L2 損失函式調整不透明度，從而最佳化幾何體。
在最終階段，輻射場模型轉化為可用於渲染管線支援的網格模型。使用紋理模型進行光柵化渲染對效能尤為關鍵。系統將顯式的輻射場模型重構回網格，並根據光場渲染壓縮技術將表面光照壓縮成多個紋理，用於使用著色器進行快速渲染。對於大規模場景，系統對幾何進行 LOD 層次化，使模型渲染可以由粗至細載入進行。
藉此，顯式輻射場技術綜合百家所長，能夠實現良好的視角泛化性、精細的幾何和真實光照效果，並以高效的渲染效率處理大規模場景。
4 效果展示
顯式輻射場技術，可以幫助重建的環境獲取真實的渲染光照效果。
對比傳統幾何重建（左），輻射場能夠更好的恢復精細的橋樑結構（右）。
同時，本技術可以恢復複雜的材質（如透明玻璃、高光桌面）效果和複雜的幾何體（植物、吊燈）。
5 挑戰與未來
雖然在技術上實現了顯著突破，但其商業價值仍需時間去發掘和思考，其主要問題在於環境採集的方式。為了得到優質的環境重建，影像的採集往往需要專業人士或者專業裝置來實現。例如，大規模的室外環境可以透過專業的大飛機傾斜攝影完成。航飛場景往往容易遮擋地面，對於地面應用，如高自由度的街景，仍需要地面採集的資料以避免航飛帶來的遮擋問題。另外為了保證環境的高覆蓋採集，地面的採集往往需要使用全景裝置，也為採集帶來了額外的成本而不適用於眾包生產。
從應用來看，未來最廣闊的市場仍屬於是廣大消費者，因此，對於大規模實景地圖的雲渲染技術至關重要。另外，如何讓實景渲染的真實場景與有價值的應用結合帶來全新的使用者體驗，仍然是元宇宙行業需要思考的首要命題。對於 2B 場景，確實有大量的客戶需要實景渲染能力，然而其所帶來的價值以及生產成本的平衡，需要進一步探索，從而找到技術的真正落地點。
6 致謝
本技術由華為 2012 實驗室技術專家黃經緯，預研演算法工程師郭曉陽、時北極，三維重建工程師張彥峰，空三與採集負責人張行航等成員共同完成。更多有關 3D 數字溪村的體驗可在 Petal Map 地圖應用中搜尋松山湖溪村進行體驗。
歡迎訪問技術負責人主頁：https://cs.stanford.edu/~jingweih
或者透過郵件方式聯絡作者：jingweih@cs.stanford.edu