讓自動駕駛撞牆，刷別人的臉付賬：最新的AI安全漏洞讓我們開了眼界
機器之心發表於2020-10-28
剛剛過去的 1024，極棒大賽上演了全新形式的人機攻防對決。劫持正在飛行的無人機、干擾自動駕駛汽車 「致盲」、戴上口罩刷別人的臉結賬，在上週六的 GeekPwn 2020 國際安全極客大賽上，全球頂級白帽駭客們向我們揭開了 AI 模型、物聯網、5G 等領域的不少未知漏洞。本次大賽，有超過 600 支來自不同科技公司、大學的極客隊伍報名參賽，最終有近 50 支在 10 月 24 日共同面向 500 萬元獎金池發起了衝擊。決賽開始之前，今年的 GeekPwn 大賽早在 3 月即開放了各賽題的報名，4 月份各項比賽公佈規則，在 8 月底 CAAD 線上比賽宣告結束。10 月 24 日來到現場的團隊，各個身懷絕技。他們面臨的挑戰也不同以往——主辦方為選手們準備了全新的挑戰。今年的八大賽題包括「新基建」安全大賽、基於漏洞攻破挑戰賽、非基於漏洞攻破挑戰賽、雲安全比賽、少年駭客馬拉松大賽、虛假人臉 AI 識別大賽、AI 變臉口罩挑戰賽以及竊密與反竊密挑戰賽。每個賽題下還分為多個單項比賽，關注不同的方向。
其中，騰訊安全聯合 GeekPwn 舉辦的國內首個新基建安全大賽涵蓋了 5G、物聯網和人工智慧，其中各個挑戰者們針對車聯網、無人機、安檢裝置、智慧電錶等目標的破解，讓人們對這些產業的安全有了新的認識。刷臉門禁、手機解鎖、機場安檢…… 使用人工智慧演算法的人臉識別，最近已經成為人們每天都在使用的技術。因為 2020 年初的新冠疫情，越來越多佩戴口罩的情形為人臉識別帶來了新的挑戰。有一些科技公司已經推出了即使戴上口罩也能識別出人臉的新技術，據稱準確率可以達到 99%。但另一方面，人們佩戴的口罩覆蓋了人臉的很大一部分面積，也為加入對抗樣本進行人臉識別破解留下了「後門」。這場挑戰模擬了人臉識別自動售貨機和 ATM 取貨場景，選手們可以利用 AI 演算法自制印上攻擊樣本的口罩遮擋自己的面部，需要在 150 秒內讓售貨機與取款機人臉識別演算法識別成主辦方指定的目標，包括蔣昌建、「美國隊長」克里斯 · 埃文斯、伊隆 · 馬斯克等人。在這其中，挑戰的目標還包括白盒演算法（ArcFace 演算法）與黑盒演算法兩個賽道。顧名思義，黑盒演算法是指攻擊者事先並不知曉人臉識別演算法的構成，破解難度更大。
GeekPwn 創始人王琦（大牛蛙）戴上了假冒主持人蔣昌建的口罩：AI 對抗樣本的攻擊，並不是把目標人臉的一部分列印在口罩上那麼簡單。比賽對於兩臺機器各設定了三個難度遞增的關卡，每一關口罩的有效攻擊區域依次遞減，對抗樣本圖案在口罩上的面積從 75%，降低至 67%，再降低至 50%，難度逐漸增大，前一關挑戰失敗則意味著失去後一關的挑戰資格。入圍決賽的團隊包括 AFMask 團隊，海棠初白團隊，來自清華大學和北京大學的動動動動弦團隊，以及來自清華大學計算機系和 RealAI 的 TSAIL 隊。戴上口罩，我就能變臉取錢嗎？我們時常會聽到各家廠商談起「金融級別安全」的支付技術，要想破解跟錢有關的人臉識別系統，並不是說說那麼簡單的，事實上比賽的程式也驗證了人們的預料。第一個出場的動動動動弦團隊，在第一輪兩個挑戰均告失敗；第二組 AFMask 團隊兩項第一輪均破解成功，但在第二輪兩項均挑戰失敗。TSAIL 和海棠初白兩隊也都倒在了第一輪。刷臉支付難以破解，或許也是因為挑戰的規則略顯嚴格：每次嘗試僅有 45 秒時間，只有一組隊伍闖過了第一關。另外由於比賽只要求「置信度」達到 50% 即告闖關成功，在現實世界中支付環境的要求顯然更高，對於我們來說，刷臉支付被「盜號」的可能性仍然很低。自動駕駛雖然距離大規模應用還有一段時間，但是在量產車上已經有不少可以讓司機解放雙手的輔助駕駛功能了。對於不少人來說，有沒有 L2 級自動駕駛已經成為了最近買車時著重考慮的因素。在本屆極棒大賽中對自動駕駛的干擾挑戰，向我們展示了這種技術的一些隱患。進行本次挑戰的白帽駭客吳濰浠表示，要對汽車自動駕駛系統中的毫米波雷達進行干擾，採用的裝置體積很小，價格也不貴。目前毫米波雷達是各類感測器中公認穩定性較高的方式。我們知道，目前的一些輔助駕駛技術，如特斯拉上的 Autopilot，是透過攝像頭和雷達來收集路面資訊的，不同汽車選擇的感測器不太一樣（如特斯拉就沒有用到鐳射雷達），但演算法會收集所有的輸入資訊進行綜合判斷。技術人員製作的攻擊用白色小盒子，看起來很不起眼，但它可以造成的擾亂效果卻可以「致命」。
首先是沒有干擾的測試，汽車的自動駕駛會在遇到紙箱堆成的「牆」面前停下來。把干擾器放到「牆腳下」，令人疑惑的現象出現了：汽車在進入自動駕駛模式後，看到眼前由紙箱堆成的牆之後似乎猶豫了一下，有一個減速過程，但無法識別前面的物體又加速撞了上去。最終「事故」發生，在實際環境下的駭客攻擊宣告成功。
在很多帶有自動駕駛功能的汽車中，只要有一種感測器給出危險訊號，則系統就會指示車輛剎停。但在實驗中汽車仍然撞向障礙物，這次挑戰的成功，讓人們意識到在自動駕駛汽車進入實用化之前，還有很多工作要做。據主辦方 GeekPwn 介紹，毫米波雷達攻擊的測試結果已提交給特斯拉方面，駭客們也將幫助車企對自動駕駛安全進行持續改進。在 10 月 24 日的比賽現場，還有很多挑戰成功的專案：來自 TQL（清華 - 奇安信聯合研究中心）的安全研究人員利用位未知安全漏洞以雲端接入的方式，對正在作業的植保無人機發起攻擊，成功獲取了植保無人機的最高使用許可權，使其偏離原定航道。來自鳳凰解碼（Phoenix Decoder，PhD）的白帽駭客也成功利用影片協議中的未知安全漏洞，以網路接入雲端的方式，對智慧攝像頭實施了遠端攻擊。這些聞所未聞的漏洞，為什麼都出現在 GeekPwn 上？最近一兩年裡，我們見證了人工智慧技術的大量落地。在每天都面臨各種變化的安全領域，新的形勢與挑戰正在出現。實際上，AI 安全有兩層含義：即用 AI 方法解決安全問題，以及 AI 技術的安全防護問題。「GeekPwn 曾經舉辦過的『資料追蹤挑戰賽』，鼓勵人們用 AI 的方法從大量的資料中快速、準確的定位惡意網站或惡意應用，」極棒大賽負責人楊泉說道。「在 AI 技術大量進入實踐階段時，其自身的安全問題，又成了人們需要重點關注的領域。GeekPwn 連續多年舉辦的 CAAD（對抗樣本攻防賽）比賽對人工智慧可能存在的安全問題進行賽題設定，透過比賽的方式暴露 AI 演算法的缺陷，進而促進人工智慧更健康的發展。」
站在攻擊者的視角將威脅預演，提前暴露風險，並警告被破解廠商，是提升數字安全防禦體系長久以來一直通行的方式，這也正是 GeekPwn 大賽的核心價值所在。今年的國際安全極客大賽已經是第七屆了，在這些年的極棒大賽裡，我們見證了 AI 技術的大規模應用，以及「對抗樣本攻擊」等破解技術的興起，極客們在賽場上已經披露了數百個高危漏洞。今天，每個人都在使用各種各樣的電子裝置，這說明安全漏洞在我們的生活中普遍存在。然而我們一直在享受新技術帶來的便利，卻忽略了技術背後存在的隱患，極棒透過挑戰比賽的方法將未知漏洞展示出來，讓人們對於新技術有了更多的認識，同時也喚起了對於技術安全防範的重視。除了發現漏洞，還有培養新人。本屆 GeekPwn 還舉辦了首屆「少年駭客馬拉松大賽」，吸引了很多十到十六歲的駭客前來參賽。相比熱度越來越高的機器學習，資訊保安有時會被人們認為門檻過高，不過楊泉對此有著不同的看法。「各個行業都有自己的入行『門檻』，我不認為行業不同，門檻就有高下，」楊泉表示。「AI 現在正被人熱捧，可是人工智慧已經經歷了六七十年默默無聞的發展歷史。目前看網路安全的人才有很大缺口，是因為近些年網路安全越來越受到重視，行業需求越來越大。至於門檻高低，從個體來談，更多的是對網路安全行業的熱情和投入，只要具備一定的基礎知識，加上必須的努力和研究，就會取得不錯的成績。」極客們還將繼續挑戰自我，為構建安全的應用作出更多貢獻。而極棒大賽的組織者們表示，明年的 GeekPwn 還會有更多新比賽出現。但是，始終不變的是發現、鼓勵、培養安全人才。GeekPwn 希望能讓更多人瞭解、理解安全，讓人們生活的更加安全。