自動駕駛汽車測試新方法 DeepTest：可自動測試深度神經網路駕駛系統

自動駕駛汽車是一種對安全性有極高要求的人工智慧應用，但軟體都有漏洞，尋找那些可能導致致命危險的漏洞是至關重要的。近日，來自弗吉尼亞大學和哥倫比亞大學的幾位研究者提出了一種自動測試深度神經網路自動駕駛汽車的方法 DeepTest，可以對自動駕駛系統進行更加全面的測試評估。機器之心對該研究的論文進行了摘要介紹，更多詳情可閱讀原論文。

論文地址：https://arxiv.org/pdf/1708.08559.pdf

GitHub 地址：https://github.com/deeplearningTest/deepTest

更多樣本展示：https://deeplearningtest.github.io/deepTest

論文：DeepTest：自動測試深度神經網路驅動的自動汽車（DeepTest: Automated Testing of Deep-Neural-Network-driven Autonomous Cars）

深度神經網路（DNN）近來的進展推動了 DNN 驅動的自動汽車的發展，這些汽車使用了相機、鐳射雷達等感測器，無需人類干預也能自己駕駛。包括特斯拉、通用、福特、寶馬和 Waymo/谷歌在內的最主要的製造商都正在研發和測試不同型別的自動汽車。包括加利福尼亞、德克薩斯和紐約在內的美國多個州的立法者已經通過了新的法規，以便加速在他們的道路上測試和部署自動汽車的程式。。

但是，儘管 DNN 成績斐然，但就像傳統的軟體一樣，往往會表現出不正確的或非預期的極端案例行為，這些行為可能會導致潛在的致命撞車。現在已經出現了一些涉及到自動駕駛汽車的車禍，包括一起出現了死亡的事故。對 DNN 驅動的汽車的大多數已有的測試技術都嚴重依賴於人工收集的不同駕駛條件下的測試資料，隨著測試條件的增多，這種收集方法的成本也會變得非常高昂。

在這篇論文中，我們設計、實現和評估了 DeepTest。這是一個系統性的測試工具，可用於自動檢測 DNN 驅動的汽車可能導致致命碰撞的錯誤行為。首先，我們的工具經過設計可以自動生成測試案例，這種生成利用了駕駛環境的真實變化，比如雨、霧、光照條件等。通過生成能最大化啟用神經元數量的測試輸入，DeepTest 系統性地對 DNN 邏輯的不同部分進行了探索。在 Udacity 自動駕駛汽車挑戰賽中三個表現最好的 DNN 上，DeepTest 發現了不同現實駕駛條件（比如模糊、雨、霧等）下的數千種錯誤行為，其中很多都可能導致致命碰撞。

表 1：涉及自動汽車的真實事故案例

圖 1：DeepTest 在 Chauffeur DNN 中找到的一個危險的錯誤行為

圖 2：一個基本的自動駕駛汽車 DNN 以相機、光檢測和測距感測器（鐳射雷達）、紅外感測器為輸入，然後輸出轉向角度、剎車決策和加減速決策。這裡給出的 DNN 本質上是對

的功能的建模，其中 θ 表示邊的權重，而 σ 是啟用函式。右邊給出的是單個神經元所執行的計算的詳情。

圖 3：（上圖）一個簡化的 CNN 架構，其中輸入影象的左上部分是一個卷積核。然後同樣的過濾器（帶有相同權重的邊）會在整個輸入空間上移動，然後計算邊的權重和互連的神經元的輸出之間的點積。（下圖）一個簡化的 RNN 架構，它的隱藏層中存在迴圈。右邊展開的版本展示了這種迴圈可以如何讓該 RNN 在處理了一個輸入序列（即影象）之後，根據這些影象預測出要轉向的角度。

演算法 1：用於結合影象轉換的貪婪搜尋，以增加神經元覆蓋率

表 3：（左圖）用於評估 DeepTest 的 DNN 的細節。（右圖）這個 DNN 的輸出是調整自動駕駛汽車向前行駛的轉向角度。Udacity 自動駕駛汽車的最大轉向角度為 +/- 25 度。

圖 7：由 DeepTest 使用合成影象檢測到的錯誤行為的示例圖。原始影象中的箭頭用藍色表示，而合成影象中的箭頭是紅色的。

更多樣本可在這裡檢視：https://deeplearningtest.github.io/deepTest/

選自Nature
作者：Yuchi Tian
機器之心編譯
參與：Panda

本文轉自公眾號：“機器之心”（almosthuman2014）轉載請聯絡本公眾號獲得授權。

自動駕駛汽車測試新方法 DeepTest：可自動測試深度神經網路駕駛系統

相關文章