自動駕駛技術的演進隨著 AI 和大模型技術的發展進入全新階段，“端到端自動駕駛”作為其中最重要的一項技術演進趨勢近來成為自動駕駛行業關注的焦點。在端到端自動駕駛領域，無論是產業界、學術界和資本市場，里程碑事件都有發生，各大龍頭企業也紛紛佈局這一核心關鍵技術路線。
2024年6月12日，辰韜資本聯合南京大學上海校友會自動駕駛分會、九章智駕、寶通科技共同主辦，招商銀行、雲道資本協辦的“端到端引領自動駕駛新時代高峰論壇暨行業研究報告釋出會”活動在上海成功舉辦。200多位產業專家、投資機構、研究機構及智慧駕駛頭部企業的代表共聚一堂，探討端到端這一革命性技術為自動駕駛行業帶來的挑戰和機遇。
會上，辰韜資本、南京大學上海校友會自動駕駛分會、九章智駕三方聯合重磅釋出2024年度《端到端自動駕駛行業研究報告》（以下簡稱《報告》）。從端到端自動駕駛的基本概念、參與者、發展驅動力、落地挑戰和未來展望進行全方位的分析，嘗試為行業構建基礎共識的認知和討論基礎，促進端到端自動駕駛行業更加彭勃地發展。此《報告》也是辰韜資本繼2020年以來，釋出關於礦山、港口、環衛、末端配送、線控底盤等自動駕駛賽道研究報告之後的第6份行業最新研究成果。
2023年以來，在行業龍頭企業特斯拉的標杆作用、大模型代表的AGI技術正規化、以及自動駕駛擬人化和安全性需求的共同推動下，自動駕駛行業對於端到端的關注度一路升溫。《報告》對30餘位自動駕駛行業一線專家的調研顯示，其中90%表示自己所供職的公司已投入研發端到端技術，端到端已逐漸成為自動駕駛行業的共識。
《報告》創新性地提出了一套可供參考的概念定義和術語體系，對端到端的基本概念進行了界定。《報告》顯示，早期，端到端的核心定義是“從感測器輸入到控制輸出的單一神經網路模型”，近年來，端到端的概念有了更大範圍的延展。本報告認為，端到端的核心定義標準應為：感知資訊無損傳遞、可以實現自動駕駛系統的全域性最佳化。
基於以上定義標準，結合自動駕駛系統中AI的應用程度，《報告》將自動駕駛技術架構分為四個階段，分別是感知“端到端”、決策規劃模型化、模組化端到端、以及One Model端到端，其中，後兩個階段符合前述端到端的定義標準。同時，本報告也對端到端與大模型、世界模型、純視覺感測器方案等常常容易被混淆的相關概念的區別與聯絡做了辨析。
《報告》顯示，端到端的落地也面臨諸多挑戰，包括技術路線、資料和算力需求、測試驗證、組織資源投入等。如技術路線方面，端到端技術路線還未形成最佳實踐，技術路線存在分歧；資料方面，在端到端技術架構下，訓練資料的重要性得到前所未有的提升，其中，資料量、資料標註、資料質量和資料分佈的相關問題都可能成為限制端到端應用的挑戰；訓練算力方面，端到端訓練算力需求急劇提升，行業頭部玩家均儲備千卡~萬卡級訓練算力；測試驗證方面，現有測試驗證方法不適用於端到端自動駕駛，行業亟需新的測試驗證方法論和工具鏈；組織資源投入方面，端到端需要組織架構重塑，也需要將資源投入傾斜到資料側，對現有模式提出挑戰。另一方面，雖然有觀點認為車端算力不足和可解釋性問題是端到端落地的限制因素，但本報告提出相反結論並進行辨析。
《報告》展望，基於自動駕駛行業頭部玩家紛紛提出端到端量產規劃，預計模組化端到端系統將於2025年開始上車，這將帶動上游技術進步、市場和產業格局演變。在技術上，端到端的落地會推動其依賴的上游工具鏈、晶片等加速進步。市場端，端到端帶來的自動駕駛體驗提升，將會帶來高階輔助駕駛滲透率的提升；由於其強泛化性，端到端也可能驅動自動駕駛跨地理區域、跨國家、跨場景的應用。產業格局方面，端到端使資料和AI人才的重要性進一步提升，可能催生新的產業分工和商業模式。
此外，《報告》還對端到端自動駕駛與通用人形機器人進行延展分析。自動駕駛在發展的早期借鑑了很多機器人行業的積累，包括感知演算法、規劃演算法、中介軟體和感測器等多個層面。近年來，自動駕駛技術和產業成熟度提高，其中端到端自動駕駛提供了一套已驗證、可量產的基於資料驅動的AGI技術正規化，對於通用人形機器人有較強的借鑑作用。《報告》認為自動駕駛和通用人形機器人已經成為物理世界AGI發展最重要的兩個應用領域，比較二者在落地之路上遇到的問題和解決路徑，可以給另一個領域更大的啟發。