作者 | 費棋

近日， ApolloScape 宣佈開放了大規模自動駕駛資料集。

它是 Apollo 自動駕駛專案的一個研究型專案，旨在促進自動駕駛的各方面創新，號稱是世界上最大自主駕駛技術開源資料集。

根據 ApolloScape 官方介紹，它開放了對畫素級標註的場景解析資料集和模擬工具的訪問，並將定期新增新的資料集和新功能。

▌場景解析資料集

場景解析是自動駕駛的核心能力，他們通過高精度車載感測器採集並標註了大量道路場景。ApolloScape 釋出的整個資料集包含數十萬幀逐畫素語義分割標註的高解析度影像資料和與其對應的逐畫素語義標註、稠密點雲、立體影像、立體全景影像。為便於研究人員更好利用資料集的價值，他們在資料集中定義了共 26 個不同語義項的資料例項（例如汽車、自行車、行人、建築、路燈等），而且並將進一步涵蓋更復雜的環境、天氣和交通狀況等。截止目前，他們的資料集公開可以下載的資料量有 4 個。

在感測器與資料採集方面，他們採用的裝備有 RIEGL VMX-1HA 移動測繪系統的中尺寸多功能越野車進行資料採集。該系統包括兩個 LiDAR 感測器（每秒 500 條掃描線，覆蓋 420 米內的 360 度視角），一部分 INS / GNSS 單元以及兩個前向相機（VMX-CS6，3384 x 2710）。資料的採集頻率為每米一張影像。

車載感測器採集車

資料概括

預計「場景解析」資料集將提供 20 萬張附有對應的語義標註與深度資訊的影像資料（截止到2018 年 3 月 8 日，提供了 80000+ 張影像），將分為訓練集，驗證集和測試集三部分，並提供檔案列表。訓練集和驗證集用於設計演算法和訓練模型，包括影像和相對應的語義標註與深度資訊。測試集的語義標註影像將用於內部測試，不提供下載。

RGB 影像總數：200000

深度影像總數: 200000

類別標註總數: 25

車道線標註總數: 28

影像解析度: 3384 x 2710

GPS 軌跡: 有

相機內部和外部引數: 有

兩幀影像之間的距離: 1 米

資料集示例

點雲示例

深度圖

資料集結構

資料集資料夾結構如下：

{root} / {type} / {road id} _ {level} / {record id} / {camera id} / {timestamp} _ {camera id} {ext}

• root: 使用者定義的根資料夾

• type: 當前版本中有三種資料型別，即 ColorImage，Label 和 Pose。

• road id: 道路 ID，例如 road001，road002。

• level: seg 表示標籤僅包含畫素級別標籤，ins 表示標籤包含畫素級別和例項級別標籤。

• record id: 記錄是例如 Record001，Record002。每個記錄包含多達幾千個影像。

• camera id: 採集系統所使用的兩個前置相機，即相機 5 和相機 6。

• timestamp: 影像名稱的第一部分。

• camera id: 影像名稱的第二部分。

• ext: 檔案的副檔名。彩色影像為.jpg，標籤影像為_bin.png，例項級標籤的多邊形列表為.json，例項級標籤為_instanceIds.png。

每個相機和每個記錄只有一個姿態檔案（即 pose.txt）。該姿態檔案包含相應攝像機和記錄的所有影像的所有外部引數。姿勢檔案中每行的格式如下所示：

r00 r01 r02 t0 r10 r11 r12 t1 r20 r21 r22 t2 0 0 0 1 image_name

相機已經很好地經過了校準。相機的內在引數是：

Camera 5:

fx=2304.54786556982

fy=2305.875668062

Cx=1686.23787612802

Cy=1354.98486439791

Camera 6:

fx=2300.39065314361

fy=2301.31478860597

Cx=1713.21615190657

Cy=1342.91100799715

▌智慧模擬工具

環境模擬用於自動駕駛在汽車和計算機行業引起了很多關注，它的主要挑戰包括當自動駕駛汽車駕駛在有其他車輛、自行車或行人的道路時出現的安全問題。為了進行廣泛測試和評估，需要開發出可用於測試的模擬系統，不僅適用於典型的相對安全的場景，而且還適用於不確定和危險的環境。他們目前的開放模擬工具包括 WorldSim 和 LogSim。他們也還在開發下一代技術，可用於生成真實世界駕駛場景和駕駛員行為的真實模擬。

▌挑戰賽

CVPR 2018 自動駕駛研討會：感知挑戰賽

為了和外界共同推動自懂駕駛研究的先進技術，此前，百度研究院院長王海峰稱，百度 Apollo 還將在今年的 CVPR （IEEE 國際計算機視覺與模式識別會議）上發起任務挑戰賽。Apollo 將聯合加州大學伯克利分校，在 CVPR 期間聯合舉辦自動駕駛研討會（Workshop on Autonomous Driving），並將基於 ApolloScape 的大規模資料集定義多項任務挑戰。（相關賽程介紹：http://wad.ai/challenge.html）

在眾多的自動駕駛技術中，環境感知與視覺社群最為相關。因此，他們發起的這項挑戰即是為了瞭解計算機視覺演算法在解決自動駕駛環境感知問題方面的現狀。在這個挑戰中，他們準備了許多具有精細註釋的大規模資料集。基於資料集，他們定義了一組現實問題，並鼓勵為自動駕駛創造新演算法，而不只是應用於自動駕駛。

資料集

我們收集並註釋了兩個大型資料集。第一個由 Berkeley DeepDrive（BDD）提供。BDD 集包括 100K 個短視訊剪輯（每個視訊剪輯為 40 秒），每個視訊剪輯中的一個關鍵幀都會進行註釋。

第二套 ApolloScape 集由百度提供。ApolloScape 包含調查級別密集的 3D 點，並以視訊速率註冊了多檢視 RGB 影像，每個畫素和每個 3D 點都進行了語義標記。此外，還提供每張影像的精確位置。

任務

• 任務 1：可驅動區域分割（Drivable Area Segmentation  ）

首要任務是可驅動區域分割。此任務要求系統查詢車輛正在行駛的道路區域或可能潛在駕駛的道路區域。

• 任務 2：道路物件檢測（Road Object Detection）

該任務是檢測與駕駛政策最相關的物件，更具體地說，要檢測以下類別的物件：車輛、人和交通標誌/訊號。

• 任務 3：語義分割的域自適應（Domain Adaption of Semantic Segmentation）

BDD 資料集與 ApolloScape 相結合的優勢在於覆蓋天氣、時間和地理等多個領域。在這個任務中，參與者在其中一個條件下給予註釋，並且需要語義分割在不同條件下捕獲的測試影像。兩種型別的適應性將被評估。一個是時間/天氣條件; 另一個是地理適應性，更特別的是來自加州（美國）和北京（中國）的培訓/測試。

• 任務 4：例項級視訊可移動物件分割（Instance-level Video Movable Object Segmentation）

在這個任務中，給予參與者一組具有良好畫素級標記的視訊序列，特別是車輛和行人等移動物件的例項也是標記。我們的目標是評估基於視訊的場景解析的畫面狀態，這是一個由於缺乏精確標記而未被評估的任務。一些非常具有挑戰性的環境被捕獲了。相比之下，每幀的平均移動例項可以超過 50 個，而 KITTI 資料集中最多隻能標註 15 輛汽車/行人。

IV 2018 智慧汽車研討會：智慧模擬與導航挑戰

除了 CVPR 2018 上的感知挑戰賽，百度 Apollo 還將與 IV 2018 （The 2018 IEEE Intelligent Vehicles Symposium）聯合舉辦一項模擬挑戰。這項挑戰將自動駕駛車輛投入到一個模擬路網中行駛，可以模模擬實的複雜駕駛場景和多車博弈過程，是目前最先進的智慧駕駛模擬技術之一。

• 範圍和目標

模擬已成為為自動駕駛提供更多訓練資料的主流方法，也是自動駕駛進行穩定性和使用者體驗的大規模測試。諸如 Carla 和 Autonovi 等開源模擬工具的優秀案例為學界和業界的研究團體提供了便利。許多從事自動駕駛能力研究的大公司正在投入大量精力開發優秀的模擬器（例如百度的 Apollo，谷歌的 CarCraft 等）。儘管模擬和規劃對自動駕駛研究和開發有普遍興趣，但仍有許多研究挑戰用於開發可以輕鬆應用於自動駕駛主題的多功能模擬框架。

新一年，AI科技大本營的目標更加明確，有更多的想法需要落地，不過目前對於營長來說是“現實跟不上靈魂的腳步”，因為缺人~~

所以，AI科技大本營要壯大隊伍了，現招聘AI記者和資深編譯，有意者請將簡歷投至：gulei@csdn.net，期待你的加入！

如果你暫時不能加入營長的隊伍，也歡迎與營長分享你的精彩文章，投稿郵箱：suiling@csdn.net

AI科技大本營讀者群（計算機視覺、機器學習、深度學習、NLP、Python、AI硬體、AI+金融、AI+PM方向）正在招募中，關注AI科技大本營微信公眾號，後臺回覆：讀者群，聯絡營長，新增營長請備註姓名，研究方向。

☟☟☟點選 | 閱讀原文 | 檢視更多精彩內容