資料集與工具包kitti_nuscen

辰令發表於2024-08-20

工具包

pyquaternion ----> w x y z  pyquaternion.Quaternion  r = Quaternion([w, x, y, z]).rotation_matrix
scipy.spatial.transform.Rotation.as_quat() ----> x y z w
當需要使用四元數，或將四元數傳入其他輪子的函式時，需要注意相關約定（w在前還是在後）

kitti資料集

參考歷史收集整理資料

nus

nuScenes資料集存在四個座標系：
    全域性座標系，車身座標系，相機座標系，雷達（Rader，Lidar）座標系。因為標註資訊是在全域性座標系下
	共有4種座標系: 全域性(Global)、車身(Ego) 、相機(Cam), 雷達(Lidar) 座標系
nus 中標註，預設的box的wlh對應是dy，dx，dz, 寬長高
rotation wxyz

v1.0-mini資料夾	-資料格式
    nus中的雷達係為右手系，x向右，y向前，z向上
     原始token中3D的標註框是基於world系的
    原始的nus標註是global系下 
      anno_size = annotation['size']
      category_name = annotation['category_name'].split('.')[1]		  
說明-- 感測器 sensor  標定引數 calibrated_sensor
     map 和 ego_pose 位姿
 scene.json  全量資料--場景
 sample.json 抽幀資料
 	 sample和scene的關係，前面說到，每個scene大約持續20s，
      那sample就是每0.5秒進行一次取樣。也可以這樣理解sample和scene，
      sence相當於20s的影片，sample就是每0.5s取一幀的影像	
	感測器採集到的資訊、標註資訊
  樣本資料 sample_data	
  樣本標註 sample_annotation.json
     標註的例項物件-- 例項 instance  類別 categories 屬性 attributes
 
 資料集包含1000個駕駛場景（城市是波士頓和新加坡），
    每個場景20s（from 15h data），其中850個場景是訓練和驗證資料，150個場景是測試資料
 以2Hz（1s兩個關鍵幀）的頻率標註了23類目標的3D框（世界座標系下）
 
 時間同步
    LIDAR sweeps across the center of the camera’s FOV. 
	The timestamp of the image is the exposure trigger time;
	and the timestamp of the LIDAR scan is the time when the full rotation of the current LIDAR frame is achieved

opendet3d

opendet3d和mmdetection3d框架都是統一座標系，使用常規的lidar座標系
7維的量表示 box自身中心為原點, 運動方向為x方向的右手系，確定x,y,z,dx,dy,dz
  x, y, z, dx, dy, dz, yaw

MMDetection3D/3D目標檢測中的邊界框和座標系介紹
   center_to_corner_box3d
  mmdet3d提供了定義好的邊界框資料型別
   LiDARPoints（位於mmdet3d/core/points/lidar_points.py下） 鐳射雷達座標系下的點雲
  和CameraPoints（位於mmdet3d/core/points/camera_points.py下）相機座標系下的點雲資料型別，
  
 設bboxes為大小(M,7)的Tensor，其中M為邊界框數量，7代表x,y,z座標，x,y,z尺寸以及朝向角，若有速度等其它引數，需放置在最後
    bboxes = LiDARInstance3DBoxes(bboxes)

 邊界框資料型別LiDARInstance3DBoxes（位於mmdet3d/core/bbox/structure/lidar_box3d.py下）
 以及CameraInstance3DBoxes（位於mmdet3d/core/bbox/structure/cam_box3d.py下），
 分別是鐳射雷達座標系下的3D邊界框以及相機座標系下的3D邊界框資料型別

自有資料集

 自定義的資料集的 ann info 儲存成 pkl 檔案

參考

 https://github.com/linClubs/nuscenes2kitti/blob/main/scripts/nus2common.py	
 nuscenes 資料集視覺化 https://zhuanlan.zhihu.com/p/669269204
 https://github.com/nutonomy/nuscenes-devkit/blob/master/python-sdk/nuscenes/scripts/export_kitti.py
 https://www.nuscenes.org/nuscenes#data-collection

相關文章