本文介紹了清華大學聯合毫末智行、自動化所、港中文、上海交大、上海人工智慧實驗室的發表於ICLR 2025的最新研究成果《Diffusion-based Planning for Autonomous Driving with Flexible Guidance》。該演算法創新性地設計了基於 Diffusion Transformer 的自動駕駛規劃模型架構，高效處理複雜場景輸入，並聯合建模周車運動預測與自車規劃中的多模態駕駛行為，充分發揮擴散模型在閉環規劃中的潛力，解決了現有基於學習的規劃方法對後處理的嚴重依賴問題。此外，藉助擴散模型的引導機制，模型在部署階段能夠靈活適應不同的駕駛需求，提高泛化能力與實用性。
論文連結：https://arxiv.org/pdf/2501.15564
專案主頁：https://zhengyinan-air.github.io/Diffusion-Planner/
背景介紹
自動駕駛規劃正朝著更安全、高效的方向發展，但在複雜環境下實現類人駕駛仍具挑戰。基於規則的方法雖在工業應用中取得成功，但適應性差，調整成本高；模仿學習能直接學習專家駕駛行為，並隨訓練資料擴充套件提升效能。然而，模仿學習方法在多模態行為適應性、泛化能力和駕駛風格靈活調控上仍存挑戰，依賴後處理來最佳化模型輸出。
近年來，擴散模型在決策領域得到廣泛應用，但在自動駕駛規劃中的探索仍有限。現有研究多聚焦於運動預測和場景生成，關注開環效能，而非閉環規劃。一些方法嘗試將擴散模型應用於規劃任務，但僅僅是沿用現有結構或擴充套件模型引數，缺乏針對性結構設計，導致仍然高度依賴後處理。
為此，我們提出了Diffusion Planner，一種創新的基於擴散模型的自動駕駛規劃方法。透過擴散模型強大的資料分佈擬合能力，Diffusion Planner能夠精準捕捉複雜場景中周車與自車的多模態駕駛行為，並實現周車預測與自車規劃的聯合建模。同時，基於Transformer的結構設計高效處理複雜場景輸入，實現20Hz的高速實時推理。此外，藉助靈活的引導機制，模型在部署階段即可適應不同的駕駛需求。在大規模真實資料集 nuPlan 的閉環評估中，Diffusion Planner取得了SOTA級表現，⼤幅降低了對後處理的依賴，並在額外收集的 200 小時物流小車資料上驗證了其在多種駕駛風格下的魯棒性和遷移能力。
Diffusion Planner 技術細節
Diffusion Planner專為自動駕駛閉環規劃設計，具備以下特點：
- 基於DiT架構融合加噪軌跡與條件資訊，推理速度可達20Hz；
- 聯合建模自車與周車的未來軌跡，將運動預測與閉環規劃統一為未來軌跡生成；
- 採用擴散模型的引導機制，實現具有偏好的軌跡生成。
模型結構設計
在自動駕駛中，自車與周圍車輛之間的緊密互動使得規劃與預測任務必須高度協同。為了應對複雜的交通場景，準確預測鄰近車輛的未來軌跡至關重要。這不僅提升了閉環規劃模型的能力，還能增強系統的安全性和可控性。我們透過聯合建模關鍵參與者的狀態，將運動預測與閉環規劃任務統一為一個未來軌跡生成任務。我們希望模型能夠同時生成所有關鍵參與者的未來軌跡，從而實現更加自然的協同行為。
然而，多車互動的複雜場景會產生更加多樣的駕駛行為，增加了訓練的難度。為此，我們採用了擴散模型的框架進行訓練，並基於Diffusion Transformer設計了針對自動駕駛規劃的結構。
具體而言，我們考慮了周圍車輛的歷史資訊、道路資訊和靜態障礙物，設計了簡潔的編碼器結構用於資訊提取，並透過交叉注意力機制與加噪後的自車和周車軌跡進行資訊互動。此外，我們還引入了額外的導航資訊以及擴散模型特有的加噪步數資訊。為了避免模型重複自車歷史行為導致閉環效能下降，我們僅考慮自車當前時刻的位置和朝向，並與周車的當前狀態一起拼接到加噪軌跡中。透過這種方式，起始狀態的引導還能進一步降低模型對未來軌跡生成的難度。
有偏好軌跡生成
基於擴散模型的引導機制，我們可以在模型的測試階段引入安全，舒適等偏好，同時也可以根據使用者需求靈活的改變模型輸出的軌跡特性，例如速度特性。此外，不同的偏好可以透過加權求和輕鬆組合，並且在部署階段可以靈活選擇是否啟用，提供更大的靈活性。
實驗結果
nuPlan閉環模擬
下圖展示了Diffusion Planner與其他自動駕駛規劃演算法在nuPlan資料集上的表現對比。我們在三個常用測試基準上進行了比較，結果顯示Diffusion Planner達到了SOTA效能水平。透過引入現有的後處理模組，演算法效能得到了進一步提升，這得益於模型生成的高質量軌跡，為後處理模組提供了更優的初始化參考軌跡。
此外，我們還對比了現有基於擴散模型的自動駕駛規劃演算法。與現有方法相比，Diffusion Planner 有效降低了對後處理的依賴，同時實現了更高的推理頻率，進一步驗證了我們設計結構的有效性。
軌跡生成視覺化
為了進一步展示Diffusion Planner在軌跡生成方面的優勢，我們選擇了狹窄路段的左轉場景，並與現有方法的無後處理版本進行了對比，如下圖所示。Diffusion Planner生成了高質量的軌跡，不僅準確預測了周圍車輛的行為，還生成了平滑的自車規劃軌跡，合理地考慮了前車的速度，充分體現了預測與規劃任務聯合建模以及擴散模型生成的優勢。
毫末智行物流小車資料集
我們使用毫末智行收集的約200小時真實世界物流小車配送資料，作為nuPlan資料集的補充，並計劃後續開源。與nuPlan資料集中的車輛相比，配送車具有以下特點：尺寸較小，執行速度較低；可以在主幹道和腳踏車道上行駛；與行人和騎行者的互動更為頻繁，同時面臨不同的行駛規則。透過在該資料集上進行測試，我們發現Diffusion Planner依然保持了最佳表現。相比之下，基於規則或依賴後處理的方法由於其設計存在對nuPlan資料的過擬合問題，導致在新場景中的效能下降。這進一步證明了Diffusion Planner在適應不同駕駛行為方面的魯棒性。
有偏好軌跡生成案例
為了進一步展示引導機制的有效性，我們挑選了部分場景，從相同起始位置出發，展示了閉環測試結果。紅色虛線和空心黃色車代表沒有引導的結果，而紅色實線和實心黃色車則表示有引導的結果。
總結
在本文中，我們提出了 Diffusion Planner，一種基於模仿學習的自動駕駛規劃方法，充分發揮擴散模型的強大表達能力和靈活的引導機制。我們設計了基於 Diffusion Transformer 的模型架構，聯合建模運動預測與規劃任務中的多模態資料分佈，並利用擴散模型的引導機制，使模型生成的規劃行為與目標駕駛風格保持一致。Diffusion Planner 在 nuPlan 資料集及新收集的 200 小時物流車駕駛資料集上取得了 SOTA 級別的閉環效能，並展現出對不同駕駛風格的強大適應性。