10 月 24 日，2018 GeekPwn 國際安全極客大賽在上海展開角逐，在眾多極具創意的網路安全破解展示之中，由 FAIR 研究工程師吳育昕、約翰霍普金斯大學在讀博士謝慈航組成的團隊獲得了最為令人矚目的「CAAD（ 對抗樣本挑戰賽）CTF」的冠軍。
GeekPwn 旨在通過集結全球最強黑客，通過預演智慧裝置及人工智慧應用的破解，助力人們解決網際網路領域中的各類安全問題。今年的大賽已是第五屆。
本次大賽聯合 GAN 之父 Ian Goodfellow，谷歌大腦科學家 Alexey Kurakin、加州伯克利教授宋曉冬等人共同發起、推出了 CAAD 對抗樣本攻防賽（Competition on Adversarial Attacks and Defenses），致力於推動人工智慧機器學習領域對抗攻擊防禦的技術發展。
據悉，該比賽於今年 5 月線上賽正式開賽。大賽聚焦讓機器學習分類器頻頻犯錯的對抗樣本問題，通過機器學習影象識別領域的安全攻防對抗研究，預演 AI 領域可能存在的風險。「對抗樣本攻防賽」針對影象識別領域的對抗攻擊與防禦研究分別設定了三個專案。
21 分鐘破解亞馬遜 Celebrity Recognition
線上的比賽在 9 月已經結束，賽會從全球的 100 餘支隊伍中選出了最強的 6 支隊伍參加了24號的決賽。而在激烈的現場比賽之後，由吳育昕與謝慈航組成的「IYSWIM」戰隊同時取得了上下兩個半場比賽的勝利，獲得了最終的冠軍。
在決賽上半場中，賽會要求所有選手進行非定向圖片（將飛行器識別為任何其他物體）、定向圖片（將武器識別為特定的其他物品）以及亞馬遜名人鑑別系統（將大賽主持人蔣昌建的照片識別為施瓦辛格）共計三種影象的對抗樣本攻擊。由於在比賽前選手並不知曉題目模型所採用的演算法，所以此類攻擊也被稱為「黑盒攻擊」，其中第三個挑戰在賽前更是被評委視為「無法完成的任務」。
令人驚訝的是，IYSWIM 戰隊在限時 30 分鐘的比賽中，首先於 21 分鐘破解了亞馬遜名人鑑別系統 Celebrity Recognition，並隨後在定向圖片的對抗樣本攻擊上破解成功，取得了領先。
吳育昕在 CAAD CTF比賽中
在下半場的比賽中，參賽的六隊選手們各自設定了預先準備好的對抗樣本防禦體系，並互相展開攻擊，攻擊成功的次數越多，則得到的分數越高。IYSWIM 戰隊在比賽中後來居上，取得了下半場的勝利。
在比賽結束後，吳育昕作為獲勝團隊的代表向我們進行了介紹。與多數人工智慧資料競賽不同，本次競賽需要參賽者利用預先訓練好的機器學習模型，在 30 分鐘內提交結果，試圖攻破賽會設定的幾個影象識別系統，每張圖片上可以修改的畫素數量被限制在 32 以內。
IYSWIM 是決賽中唯一一個攻破亞馬遜人臉識別技術的團隊，吳育昕表示這是一個非常困難的挑戰：「在學術界我也沒有搜尋到以往存在人臉識別上的對抗樣本研究。對此，我們仿照圖片分類上的一些方法進行了嘗試——在這之前，我也沒想到我們使用的方法是有效的。」
在模型設計上，獲勝戰隊使用了多種模型整合的方法，其中包括一些團隊成員自行設計的模型，這樣的配置取得了良好的效果。
輸出這樣的對抗樣本需要什麼樣的硬體配置？吳育昕表示不同的方法對於算力的需求不盡相同。依照本次比賽的時限要求，他們選擇了能使用一臺膝上型電腦幾分鐘內輸出結果的模型。而在訓練這些模型的時候，則需要 8 塊高效能 GPU 執行一天以上時間。
冠軍團隊
在 CAAD CTF 比賽中奪冠的團隊 IYSWIM 由兩人組成，其中來到決賽現場的吳育昕來自 Facebook 人工智慧研究部門 FAIR，他主要進行計算機視覺方面的研究。值得一提的是他的論文《Group Normalization》在今年 9 月份剛剛獲得了 ECCV 2018 最佳論文榮譽提名獎（參見：ECCV 2018 獎項公佈：德國團隊獲最佳論文，吳育昕、何愷明上榜）。
另一名選手謝慈航則是約翰霍普金斯大學的三年級在讀博士，他同樣也是計算機視覺方面的學者，曾有多篇論文被 CVPR、ICLR 等人工智慧頂會接收。此前，謝慈航在對抗樣本方向上有過一些研究。
謝慈航
對抗樣本：人工智慧的弱點
在神經網路中，導致網路輸出結果不正確的輸入內容被稱為對抗樣本。我們可以通過一個例子來進行說明。如下圖所示：在某些影象分類網路中，這張圖被認為是熊貓的置信度是 57.7%（左圖），且其被分類為熊貓類別的置信度是所有類別中最高的，因此神經網路得出一個結論：影象中有一隻熊貓。但是，通過新增少量精心構造的噪點，我們可以得到一個這樣的影象（右圖）：對於人類而言，它和左圖幾乎一模一樣，但神經網路卻認為，其被分類為「長臂猿」的置信度高達 99.3%。
圖片來源： Explaining and Harnessing Adversarial Examples，Goodfellow et al
為了解決神經網路對抗樣本的問題（Szegedy et al., 2013），近期人們對於構建防禦對抗樣本，增加神經網路魯棒性的研究越來越多。儘管人們對於對抗樣本的認識已經提升，相關的防禦方法也有提出，但迄今為止並沒有一種完美的解決方法出現。
「對抗樣本的研究和其他的研究不太一樣，沒有特定的方向，」吳育昕表示，「在對抗樣本上，人們提出的攻擊手段正在不斷提高，防禦手段也在不斷提高。這是一個交替上升的過程。我也只是在最近幾個月才開始接觸這一方向。我認為目前人們還無法找到完美的攻擊或防禦方式，大家還在不斷地互相提高。」
面對挑戰，GAN 提出者 Ian Goodfellow 曾聯合 Alexey Kurakin、Samy Bengio 共同在 2017 年的 NIPS 大會上舉辦了對抗樣本攻防競賽，以推動人們在對抗樣本方面的研究。近年來人們對於這一方面的研究也越來越多。
「我們可以看到，目前的人工智慧在影象識別上還有很多問題。」吳育昕表示。在未來，隨著人工智慧技術的發展，AI 必將負責控制越來越多重要任務，這意味著類似於對抗樣本的機器學習安全漏洞可能帶來巨大的危害。GeekPwn 極客大賽為我們帶來了提前發現、解決問題的機會。