3DRealCar: An In-the-wild RGB-D Car Dataset with 360-degree Views

caoeryingzi發表於2024-10-15

3DRealCar:An In-the-wild RGB-D Car Dataset with 360-degree Views

Du, Xiaobiao and Sun, Haiyang and Wang, Shuyun and Wu, Zhuojie and Sheng, Hongwei and Ying

來自很多單位,其中企業所在單位是Li Auto

專案地址: https://xiaobiaodu.github.io/3drealcar/

git code: https://github.com/xiaobiaodu/3DRealCar_Dataset

本文主要是介紹自己的資料集,大概一共有2500輛車的影像,每輛車平均200張圖,來自不同的角度拍攝的清晰圖,這個資料集,可以用來做很多事情,比如給2d檢測做資料擴充,給3d重建、3d場景生成,3d特殊場景模擬等提供資料。該資料是至今為止最大的資料集了吧,別的公開資料集都很少數量,或者質量不高。同時作者透過實驗驗證了資料的作用。

實驗驗證的流程如下:

1. framework

從圖中可以看到用到的模組很多,其中包括Grounding dino + SAM完成bg, fg的分割, Colmap生成 point clouds,而後基於3dgs生成 3d cars

程式碼裡只有前面資料預處理部分,3DGS部分不包含,需要自己搭建。即只包含以下部分

2.和street gaussian對比分析

Street Gaussians: Modeling Dynamic Urban Scenes with Gaussian Splatting,也是來自Li auto的工作,是zju和Li auto一起合作的工作,兩者其實區別蠻多的,

共同點:

都是用3d gaussian對物體進行建模的; 都是對adas場景進行處理; 都用到了額外的point cloud而不是隻有SFM產生的。

不同點:

street gaussian是場景下建模,是減去背景後留下前景,背景用一種建模方式球諧函式介紹(Spherical Harmonics),前景用一種建模方式 dynamic spherical harmonics model 動態球諧函式介紹(Spherical Harmonics)。因此,這個過程中有前景有背景。對背景進行了建模,也對前景進行了建模。結果比較模糊,好像沒辦法把單獨某個目標拿出來?這種方式是場景重建,但是不能對單個目標拿出來放到別的地方使用,或者是不知道怎麼用?

3drealdata更適合對前景目標建模。同一個目標影像更豐富,結果更加清晰,可以旋轉大角度,這種方式生成的資料可以把車輛放到任何位置或者任意pose下使用。3d real data使用的是標準的gaussian splatting,當然目的也只是為了驗證資料的有效性,不是驗證演算法,而street gaussian 是做了改進。

相關文章