最近開始接觸基於深度學習的渲染，記錄下閱讀過的論文。歡迎交流。
這篇論文的主要作者來自法國Inria（國家資訊與自動化研究所）。發表在ACM Transactions on Graphics。
本文主要介紹了一種使用輻射場（Radiance Field methods）進行新視角合成的方法：Gaussian splatting（也有描述說這種方法已經很早就有，只是2023年有了加速以及效果好才火起來，我們暫且留坑，以後再關注歷史），可以進行快速（30fps）且高質量（1080p）的場景重建。解決了神經輻射場（NeRF）技術在實時渲染高解析度場景時面臨的挑戰。NeRF是一種透過使用深度學習最佳化連續場景的技術，可以實現複雜場景的新視角影像。儘管NeRF提供了優異的視覺質量，但其訓練和渲染通常耗時且計算量巨大，難以實現實時渲染。
本文的創新點：
1. 使用3D高斯表達場景，以最佳化空間使用和計算效率；
2. 透過交錯最佳化和密度控制，尤其是各向異性協方差，以精確描述場景；
3. 開發了快速的渲染演算法，支援加速訓練和實時渲染。
重建方法review：
本方法從sfm稀疏點出發進行初始化高斯球，然後透過投影和自適應密度控制不斷最佳化高斯球的引數，其中，投影主要是透過可微光柵實現的。梯度資訊透過可微光柵化投影的影像反向傳播到高斯球上。
主要可以分為3部分：
1. 可微的3D gaussian splatting
2. 交錯最佳化和密度控制
3. 快速可微光柵化
結果自然不用說，非常驚人。解析度很高，且渲染速度極快。程式碼也開源了：https://repo-sam.inria.fr/fungraph/3d-gaussian-splatting/
最後總結和展望
個人覺得效果很驚豔。屬於基於點的渲染方式，所以結構資訊也可以從點中恢復。如果再引入位姿最佳化，以及結構最佳化，可能會出來更好的效果。畢竟，現在完全依賴於colmap計算的位姿和稀疏sfm點。