自動駕駛是未來智慧交通的發展方向，但在其安全性獲得完全檢驗之前，人們還難以信任這種複雜的技術。雖然各家車企、創業公司的路試里程早已突破百萬英里，但最近 AI 領域裡逐漸興起的「對抗樣本」技術正讓自動駕駛遭遇挑戰。
前不久，來自騰訊科恩實驗室的研究人員們找到了幾種使用「物理攻擊」的方式欺騙特斯拉自動駕駛系統的方法。
在騰訊放出的影片中我們可以看到，科恩實驗室發現：
利用 AI 對抗樣本生成特定影像並進行干擾時，特斯拉的 Autopilot 系統輸出了「錯誤」的識別結果，導致車輛雨刷啟動。
在道路特定位置貼上幾個貼紙，可以讓處在自動駕駛模式的汽車併入反向車道。
獲取 Autopilot 控制權之後，即使 Autopilot 系統沒有被車主主動開啟，也可以利用 Autopilot 功能實現透過 Xbox 遊戲手柄對車輛行駛方向進行操控。
特斯拉的 Autopilot 功能是在 2016 年推出的，2018 年 10 月，該公司曾推出「全自動駕駛」功能。但因被批誇大效能，特斯拉很快移除了這項技術。最近，隨著特斯拉向使用者推銷其輔助駕駛系統 Autopilot 的策略發生轉變，該選項重新出現在了選單上。
在上個月初，特斯拉 CEO 伊隆·馬斯克還曾表示：今年晚些時候，全自動版 Autopilot 將允許特斯拉車主在複雜的城市環境中啟用自動駕駛功能。但在看完以上影片之後，恐怕人們就不太敢開啟 Autopilot 功能了，不知特斯拉何時能夠解決這些漏洞。
如何欺騙 Autopilot
特斯拉汽車的 Autopilot 系統中內建了一個深度神經網路，用於識別相機影像中的車道標誌。該神經網路「看」東西的方式與我們大有不同，即使是創造和訓練它們的人也不能理解其中原因。
通常，研究人員會向神經網路展示大量關於某物（如街道）的影像來訓練它們，而這些影像中一般有由人類顯式標記的東西，如車道標誌。網路透過觀察標記資料集中的影像，從中檢測出某些相似性，然後逐漸能夠識別車道標誌。但這些相似性具體是什麼，對它來說卻有些抽象。
由於車道標誌的實際性質和神經網路對其認知之間的脫節，即使是準確率很高的神經網路也會被「對抗」影像所欺騙，這些對抗影像被精心構建以利用這種模式識別。
上週，來自騰訊科恩實驗室的研究人員展示瞭如何欺騙特斯拉 Model S 中的車道檢測系統，以隱藏人類可見的車道標誌，並建立人類會忽略的標誌。在某些特定情況下，這種做法會導致特斯拉的 Autopilot 在不發出警告的情況下駛入錯誤車道。
通常，對抗影像攻擊（adversarial image attack）是透過直接給神經網路輸入修改的影像以數字方式進行的。對神經網路上進行現實世界的攻擊要難得多，因為這樣做更難控制網路看到的東西。
但物理對抗攻擊可能也是一個嚴重問題，因為它們不需要直接訪問正在使用的系統，該系統只要能夠看到對抗模式，就會被破壞。
騰訊的測試一開始是直接訪問特斯拉軟體。研究人員向車道檢測系統展示了各種車道標誌的數字影像，以建立其檢測引數。作為輸出，該系統指定它在輸入影像中檢測到的任何車道座標。透過使用「各種最佳化演算法來改變車道及其周圍的區域」，研究人員發現了幾種不同型別的「對抗樣本」，這些樣本與原始影像相似，但能夠使車道識別功能失靈。
本質上，騰訊試圖找到特斯拉車道檢測神經網路的置信閾值從「非車道」到「車道」或「車道」到「非車道」的點，並利用這個點來生成對抗車道標誌。以下是一些示例：
基於以上影像中的第二個樣本，騰訊用一些顏料在現實世界中再現了這種效果，結果是相同的。
車道標誌被打亂到什麼程度才能使 Autopilot 忽略它們，這一點很重要。騰訊研究人員解釋稱：
Autopilot 模組的車道識別功能有良好的魯棒性，如果想透過在現實世界中佈置一些不顯眼的標誌來使行駛中的特斯拉汽車車道識別功能失靈，很難。我們懷疑這是因為特斯拉在其訓練集中新增了很多不正常的車道，比如破損或者被遮擋的車道，以應對物理世界的複雜性。這導致其自動駕駛系統在正常的外部環境（無強光、雨雪、沙塵暴等干擾）中表現良好。
然而，正是這種穩健性導致 Autopilot 更容易受到相反方向的攻擊：建立對抗標誌，這種標誌能夠觸發 Autopilot 的車道識別系統，但對人類司機來說卻很少或幾乎看不到車道跡象。騰訊的實驗表明，只需在地面上新增三個貼紙就能讓 Autopilot 誤認為「這是車道」。
特斯拉自動駕駛的其它漏洞
安全研究人員還發現了特斯拉的其它一些東西，這些東西不算弱點但挺有趣。比如，用影像觸發雨刷的能力。他們還發現可以用遊戲手柄控制特斯拉汽車的駕駛方向，這一點利用了特斯拉聲稱已經修補好的漏洞。
將這個示例放在上下文中是很重要的，因為它看起來只在特定環境下運作—該演示發生在類似於十字路口的地方（也許是一個無控制的四路交叉口），其中沒有其他車道線供系統遵循。
這些貼紙似乎不可能導致汽車穿過完善的中心車道線，但該演示表明在沒有其他車道標誌的情況下，貼紙的確可以導致自動駕駛特斯拉進入反向車道，司機也得不到任何視覺提示，因而無法瞭解即將發生什麼。
當然，研究人員希望特斯拉汽車足夠聰明，可以在發現迎面而來的車輛時候不進入反向車道。值得指出的是，為了使車道標誌檢測系統發揮作用，特斯拉汽車考慮到大量變化，因為現實生活中的車道標誌具有諸多變化。
相信大家在高速公路行駛時都有過這樣的經歷：不同時間畫的幾組標誌（但都以相同的方式褪色）彼此分離，以至於我們的大腦也很難決定走哪條車道。
在這種情況下，我們通常會以人類擅長的方式行事—快速吸收大量資訊，並藉助環境和畢生的道路知識儘可能做出最好的決定。眾所周知，自動系統在這方面表現非常糟糕，但相較於僅靠觀察車道標誌做出決策，特斯拉 Autopilot 依然有很多方式利用其它資料做出更佳的決策。
最簡單的一種方法大概是觀察你前面的車輛如何行使，跟著它們可能是最安全的行車路線，即使它們沒有選擇與你相同的路線。
特斯拉的回應
騰訊科恩實驗室這一次測試的是特斯拉 Model S，其軟體版本為 2018.6.1。騰訊已將研究結果編寫為白皮書（如感興趣可查閱文末連結），對此，特斯拉對於目前發現的三個問題均給出了回應。
關於「雨刷的視覺識別缺陷」：
「該研究透過向直接放置在汽車擋風玻璃前的電視展示影像進行驗證。這不是現實世界中司機會遇到的情況，所以也不是安全問題。此外，我們在車主的『使用者手冊』中寫過：『（雨刷的）自動設定目前仍處在 Beta 測試階段』。使用者也可以隨時選擇手動開啟或關閉雨刷。」
關於「車道的視覺識別缺陷」：
「在演示中研究人員調整了車輛周圍的物理環境（即在道路上放置了膠帶），使得自動駕駛系統的表現出現了變化。考慮到駕駛員可以隨時接管汽車，控制方向和剎車，其操作許可權高於 Autopilot，這不是現實世界中需要擔憂的問題。」
關於「遙控器操控車輛行駛」：
「在本報告中提到的主要漏洞已被特斯拉在 2017 年安全更新中修復，之後還有 2018 年安全更新，兩個補丁都是在該報告發布前上線的。在多年來特斯拉汽車在路上行駛的經歷中，我們從未見到任何一位使用者被本報告中所提及的任何問題所影響。」
不知這樣的回覆是否能夠令你滿意？
特斯拉的 Autopilot 一直處在一個尷尬的處境，它似乎同時在告訴消費者「你當然可以信任它」和「你當然不能信任它」。
幾乎可以肯定的是，後一種說法更為準確，車道識別攻擊令人擔憂，司機在車輛已經開始轉向之前才可能意識到出現了問題，但可怕的是，在某些情形下，車輛自身無法意識到問題出現。
儘管這成為特斯拉 Autopilot 實際問題的可能性還很小，但這項研究向我們提出了一些問題：假如道路上出現了類似模式的隨意白點，會發生什麼呢？還有哪些隱患尚待確認呢？特斯拉已經進行大量的真實駕駛測試，但現實世界太大了，總會有一些可能的情況需要我們做好準備。
參考內容：
https://spectrum.ieee.org/cars-that-think/transportation/self-driving/three-small-stickers-on-road-can-steer-tesla-autopilot-into-oncoming-lane
https://keenlab.tencent.com/en/whitepapers/Experimental_Security_Research_of_Tesla_Autopilot.pdf
https://keenlab.tencent.com/zh/2019/03/29/Tencent-Keen-Security-Lab-Experimental-Security-Research-of-Tesla-Autopilot/