link
Framework
Occupancy
模型結構比較像ICCV 2023的OccNet的做法，不過還會額外預測Suface以及NeRF state，預測可行駛區別suface的好處是可以輔助Planning&Control給出更加準確的運動速度等資訊(比如，上下坡可根據suface坡度做更準確判斷)。
Lanes Neural Network
比較有意思的是將車道線的節點（eg. 起點、中間點、分叉點）的位置資訊作為token，使用Transformer的Decoder預測節點token以及連結關係矩陣。
Language Decoder
Planning
不同agent(動態目標)會有K種可能運動軌跡，這些可能運動軌跡組合起來會形成大量潛在可能性，每種可能性的機率判別速度就非常重要，FSD Beta展示的基於NN的planner大大提升了每次判斷的速度。
下圖是Occupancy視覺化，Occupancy會做為3D機率圖來輔助軌跡預測。
Auto Labeling
2019年SfM重建點雲上標註
2020年BEV上標註
2021年多趟3D軌跡拼接重建點雲上標註
Training Infra
14k gpus
160億幀的訓練資料
相關連結
https://www.youtube.com/watch?v=ODSJsviD_SU
https://zhuanlan.zhihu.com/p/570431956?utm_source=weibo&utm_medium=social&utm_oi=34558732926976&utm_content=snapshot&utm_id=0