連結：http://robotics.sciencemag.org/content/4/28/eaaw0863
模擬系統對自動駕駛技術的發展和驗證來說至關重要。當前流行的最佳模擬方法利用遊戲引擎或高保真計算機圖形（CG）模型來建立駕駛場景。但是，建立 CG 模型和車輛運動（模擬物件）依然需要人工操作，這樣做不僅成本高昂且耗費時間。此外，CG 影象依然缺乏現實世界影象的豐富性和真實性，使用 CG 影象進行訓練也會導致效能下降。
本文中，百度展示了一種擴增實境的自動駕駛模擬系統（AADS）。其構想是通過模擬交通流來擴增實境世界影象，進而建立逼真的模擬影象和渲染。更具體地說，百度使用鐳射雷達（LiDAR）和相機掃描街景。根據獲得的軌跡資料，為汽車和行人生成了看似合理的交通流，並將其合成到背景中。合成影象也可以基於不同視角和感測器模型（相機或 LiDAR）進行再合成。生成的逼真影象新增了完整註釋，並且可用於從感知到規劃的自動駕駛系統訓練和測試。
百度通過檢測、分割和預測等一系列自動駕駛任務說明了系統設計原理並驗證了其演算法。相較於傳統方法，百度團隊的方法具有可擴充套件性和真實性。可擴充套件性對自動駕駛模擬而言極其重要，同時他們認為在虛擬環境中無法真實地捕捉現實世界的複雜性和多樣性。百度的擴增實境方法結合了虛擬環境的靈活性（如車輛運動）和真實世界的豐富性，從而實現了有效模擬。
引言
近年來，自動駕駛汽車已經引起了研究人員、風險資本家和普通民眾的大量關注。自動駕駛汽車預計會在安全性、機動性和環境問題方面帶來巨大的社會效益，因而引起了全世界人民的關注。但是，鑑於近來出現的自動駕駛汽車交通事故，要滿足自動駕駛汽車相關的高標準和預期很明顯還有很長的一段路要走。
安全性是自動駕駛汽車的核心要求。有人認為自動駕駛汽車必須在具有挑戰性的條件下接受數億英里的驅動測試，以證明其在減少傷亡方面的統計可靠性。但即使是在最激進的評估模式下，這也需要數十年的道路測試。用於驗證自動駕駛汽車安全性的新方法和度量正在開發。
模擬系統可能是一種有效的解決方案，此類系統在執法、防禦和醫療訓練等領域很常見。自動駕駛的模擬可以實現兩個目的：其一，測試和驗證自動駕駛汽車在環境感知、導航和控制方面的效能；其二，生成大量有標籤的訓練資料以訓練深度神經網路等機器學習方法。計算機視覺領域近期已採納了第二個目的。
生成這種模擬器的最常見方法是結合計算機圖形、物理建模和機器人運動規劃技術來構建一個合成環境，然後在該環境中對運動的車輛進行動畫製作和渲染。最近開發了很多模擬器，如英特爾的 CARLA、微軟的 AirSim、英偉達的 Drive Constellation 以及谷歌/Waymo 的 CarCraft 等。
儘管所有這些模擬器取得了當前最佳的合成渲染結果，但這些方法很難在現實世界中部署。一個主要障礙在於對高保真環境模型的需求。建立逼真 CG 模型的成本高得離譜。所以，來自這些模擬器的合成影象具有明顯的 CG 渲染外觀和感覺，即遊戲或者虛擬現實系統質量。
此外，汽車和行人等運動障礙的動畫製作往往照本宣科，缺乏真實場景的靈活性和真實性。另外，這些系統無法生成城市環境中包含車輛、行人或自行車的不同場景。
百度在文中介紹了一種資料驅動的端到端自動駕駛模擬方法：擴增實境的自動駕駛模擬系統 AADS。該方法通過模擬交通流來擴增實境世界影象，進而建立逼真的、媲美現實世界渲染的模擬場景。
圖 1 顯示了 AADS 系統的管道以及主要的 F1 輸入和輸出。百度特別建議使用鐳射雷達（LiDAR）和相機來掃描街景。百度將輸入資料分解為背景、場景照明和前景目標。百度還提出一種檢視合成技術，從而能夠在靜止背景下改變檢視。前景車輛採用三維（3D）CG 模型。
藉助於準確估計的室外照明，3D 車輛模型、計算機生成的行人以及其他運動物體可以重新定位並渲染回背景影象中，以建立逼真的街景影象，使它們看起來像是從行車記錄儀中捕捉到的一樣。此外，合成物件的佈局和位移等模擬生成的交通流基於捕捉到的、看起來自然的現實世界車輛軌跡，並且具有現實世界場景的複雜性和多樣性。
圖 1：AADS 系統的輸入、處理管道和輸出。上：資料集的輸入。虛線之間顯示了 AADS 的管道，包含資料預處理、新背景合成、軌跡合成、移動目標的增強和 LiDAR 模擬。下：AADS 系統的輸出，包含合成的 RGB 影象、一個 LiDAR 點雲和帶有真實註釋的軌跡。
與傳統基於 VR 或基於遊戲引擎的自動駕駛車輛模擬系統相比，AADS 提供了更準確的端到端模擬能力，不需要昂貴的 CG 模型或繁瑣的程式來定義交通流。因此該系統可以大規模應用，包括訓練和評估新的自動駕駛車輛導航策略。
AADS 成功的關鍵是 3D 場景掃描影象和車輛軌跡資料的廣泛可用性，二者在新的交通場景影象自動生成中都是必需的。百度還將開放部分為開發和評估 AADS 系統收集的真實世界資料。這些資料都是由專業標註服務商標註過的。除了 AADS 之外，這些資料還可能用於與感知和規劃相關的許多工，以推動該領域研究的進一步發展。
本文的技術提升表現在以下幾個方面：
提出了一個用於自動駕駛模擬的資料驅動演算法：利用掃描得到的街景圖和真實的軌跡可以自動合成逼真影象和模擬移動模式。這種掃描到模擬的直接通道幾乎不需要人工干預，就可以在閉環模擬環境中隨時隨地對自動駕駛汽車進行大規模測試。
提出了一種檢視合成方法，僅使用少量影象就可以實現檢視插值和外推：與之前的方法相比，它可以生成噪點更少的高質量影象。
提出了一套新的資料集，包括最大的交通軌跡集和最大的、具有畫素/點級別註釋的 3D 街景資料集：所有影象都是在車輛密集、路況複雜的都市捕捉到的。這種擁堵的城市交通環境給自動駕駛提出了重大挑戰。
圖 2：ApolloScape 資料集及其擴充套件。上：ApolloScape 與其他流行資料集的對比。下左：RGB 影象、註釋和點雲（從上到下）；下右：資料集中一些有標記的交通軌跡。
圖 3：深度提取的檢視合成結果和有效性。A 和 B：資料集中的原始 RGB 影象和深度影象。C 到 E：過濾和完成之後的深度提取。F 和 G：在 (H) 中使用初始和提取深度以及近檢視進行檢視合成的結果。I 到 K：利用 Liu 等人、Chaurasia 等人以及百度的方法進行檢視合成的最終結果。
圖 5：RGB 影象增強評估。左邊的四張影象是從 CARLA（A）、VKITTI 資料集（B）、百度的 AADS-RGB 資料集（C）和測試資料集 CityScapes（D）中選取的。右邊的條形圖顯示了評估結果。
圖 6：LiDAR 模擬評估。（A）用於實時例項分割的資料集大小和型別（真實或模擬）評估。（B）不同物件放置方法的評估結果。（C）使用例項分割的真實資料增強評估（均值掩碼 AP）。
圖 8：新型檢視合成管道。A：用四張最近的推理影象合成 D 中的目標檢視。B：通過深度代理（proxy）將四幅參考影象合成到目標檢視中。C：採用拼接方法得到完整的影象。D：新檢視的最終結果是經過後處理後合成的，如孔的填充和顏色的混合。
方法
AADS 用掃描的真實影象來進行 AQ63 模擬。百度的目標是在掃描的場景中用新的軌跡來模擬新的車輛和行人。為此，在模擬資料之前，AADS 應該從掃描的 RGB 影象和點雲中移除運動目標，如車輛和行人。運動物體的自動檢測和移除本身就構成了一個完整的 AQ64 研究課題；幸運的是，最近的資料集都提供了 RGB 影象的語義標籤，包括點雲。
通過使用 ApolloScape 資料集中的語義資訊，百度移除了特定型別的目標，如汽車、自行車、卡車和行人。移除這些運動目標後，RGB 影象和點雲上出現了無數的孔洞，必須小心地填補這些孔洞才能為 AADS 生成完整而乾淨的背景。百度使用最新的 RGB 影象修復方法來填補影象中的孔洞。該方法使用語義標籤來指導基於學習的修復技術，從而達到可接受的影象質量。
給定合成的背景影象，可以把任何 3D CG 模型放在背景上，然後將其渲染至影象空間中以生成新的合成模擬影象。但是，要使合成影象逼真（接近真實影象），必須首先估計背景影象中的光照度。這樣 AADS 才能渲染出背景和車身上陰影一致的 3D CG 模型。百度根據論文 (37) 中的方法解決了戶外光照估計問題。
此外，為了進一步提升合成影象的真實性，AADS 還提供了一個可選特性，通過從真實影象中抓取紋理來增強 3D CG 模型的外觀。具體而言，給定一個沒有移除汽車的 RGB 影象，檢索相應的 3D 汽車模型並使用論文 (38) 中的方法將這些模型與輸入影象對齊。與 (39) 類似，百度使用了對稱先驗來根據對齊的真實影象遷移和完成 3D CG 模型的外觀。
基於 AADS 系統，百度同時釋出了兩大公開資料集，即 ApolloCar3D 和 TrafficPredict。這兩個資料集是百度 ApolloScape 開源專案的一部分，其中 ApolloCar3D 資料集包括超過六萬車輛的例項，配有高質量的三維 CAD 模型和語義關鍵點。TrafficPredict 是一個包括 1000 公里的運動物體的軌跡資料集，包括時間戳，車輛 ID，類別，位置，速度，朝向等資訊。
另外，百度主持的 CVPR 自動駕駛研討會將於 2019 年 6 月舉行，此次研討會將重點關注自動駕駛中的多幀感知、預測和規劃，同時舉辦全球範圍內的挑戰賽事。
研討會網址：http://wad.ai/