可以「欺騙」神經網路的對抗樣本是近期計算機視覺，以及機器學習領域的熱門研究方向。為了讓 AI 能夠抵禦攻擊，研究人員一直在尋找構建穩固機器學習演算法的道路。最近，在國際頂級人工智慧大會 IJCAI 上，一場有關人工智慧安全的攻防戰落下了帷幕。
8 月 10 日，IJCAI-19 阿里巴巴人工智慧對抗演算法競賽的決賽答辯於澳門大學結束，在參與答辯的 20 支隊伍中，來自廣州大學、中國科學技術大學、東南大學&普渡大學的團隊分別獲得了無目標攻擊、有目標攻擊和防禦賽道三個賽道的冠軍。冠軍團隊分別獲得了 5000 美元的獎勵。這些隊伍在 IJCAI 2019 大會舉辦的大賽頒獎儀式上獲得了各自獎項。
本次對抗演算法競賽可謂火爆：在 4 月 20 日截止時共有 2518 支隊伍、2985 名選手報名參賽，參賽者來自 24 個國家和地區，覆蓋學界和業界。其中報名人數最多的機構分別是電子科技大學、浙江大學、西安電子科技大學、華中科技大學和中國科學技術大學。與此同時，大賽也產生了十餘篇相關論文。
對抗樣本：人工智慧的軟肋
對抗樣本（adversarial example）的研究究竟有多重要？想象一下通過欺騙神經網路來殺人：也許有一天，這一幕真的有可能上演。如果經過訓練的神經網路能夠駕駛無人機或操作其他自動工具，他們就有可能因為對抗樣本攻擊而變成人類的敵人。
在今天 AI 領域廣泛使用的神經網路中，導致網路輸出錯誤判斷結果的輸入內容被稱為對抗樣本——人工智慧會在一些人類看來不可理喻的情況出錯。
「GAN 之父」，現蘋果公司科學家 Ian Goodfellow 曾給我們舉過一個著名的例子，如下圖所示：這張圖被 AI 認為是熊貓的置信度是 57.7%，其被分類為熊貓類別的置信度是所有類別中最高的，因此網路得出結論：影像中有一隻熊貓。但是，通過新增非常少量精心構造的噪聲，可以得到一張這樣的影像（右圖）：對於人類而言，它和左圖幾乎一模一樣，但神經網路卻認為，其被分類為「長臂猿」的置信度高達 99.3%。
圖片來自 Explaining and Harnessing Adversarial Examples，Goodfellow et al
想象一下，如果用對抗樣本替換一個停車標誌——人類可以立即識別這是停車標誌，但神經網路卻不能。現在，把這個標誌放在一個繁忙的交叉路口。當自動駕駛汽車接近交叉路口時，神經網路將無法識別停車標誌，直接繼續行駛，就可能導致乘客傷亡。
因此，在高度複雜的人工智慧工具實用化之前，我們首先需要研究對抗樣本的機制。
在 IJCAI-19 阿里巴巴人工智慧對抗演算法競賽上，有關影像分類的賽題包括模型攻擊與模型防禦。參賽選手既可以作為攻擊方，對圖片加入輕微擾動生成對抗樣本，使模型識別錯誤；也可以作為防禦方，通過構建一個更加魯棒的模型，準確識別對抗樣本。競賽共包括三個任務：
無目標攻擊: 生成對抗樣本，使模型識別錯誤。
目標攻擊: 生成對抗樣本，使模型識別到指定的錯誤類別。
模型防禦: 構建能夠正確識別對抗樣本的模型。
有趣的是，與以往對抗演算法競賽主要基於公開學術資料集 ImageNet 不同，本次比賽首次直接使用電商商品影像作為攻擊/防禦的物件，更加關注於 AI 的真實應用。賽會總共公開了約 110,000 張商品圖片，它們來自於 110 個商品類目，每個類目大概 1000 張圖片。
資料集 ImageNet 中的圖片（上圖左）和電商網站中常見的影像（上圖右）。
在比賽中，兩個攻擊賽道需要同時考慮攻擊成功率和加入干擾的大小兩個因素，即通過加入更小的干擾以實現更高的攻擊成功率為目標。在評測時通過統計多個測試樣本在多個評估模型上的平均擾動量來作為衡量標準——擾動量越小則分數越高。
在攻擊賽道中，選手提交的模型會在有效性、擾動量和可遷移性三個維度上對比水平高低。
防禦賽道需要選手提交防禦模型，評測系統將會使用多個攻擊模型生成對抗樣本對其進行攻擊，從而評估防禦模型的防禦成功率（即對對抗樣本的正確識別率）和對加入對抗擾動量的魯棒性。防禦賽道核心考量選手提交的演算法對於不同攻擊演算法的綜合防禦效能，這也符合傳統意義上攻防對抗的本質，即攻擊方可能使用各種可能的手段找到防守方的漏洞，防守方需要提供儘可能全面的防禦能力。
阿里表示，為了提高難度，比賽在初賽階段需要使用主辦方提供的攻擊模型進行評測，而在複賽階段則需要使用初賽中選手提交的若干最強的攻擊模型作為評測模型，這也給競賽增加了不確定性，對參賽選手提出了更高的要求。
無目標攻擊賽道
獲得無目標攻擊賽道冠軍的團隊「GZHU-ZJU-AiS-LAB」來自廣州大學。
胡衛雄與謝禹舜是廣州大學網路空間先進技術研究院的研一學生，他們的帶隊老師顧釗銓教授是大資料及安全研究所所長。廣州大學的方濱興班是研究院於 2018 年成立的研究生創新班，第一期共 35 人，冠軍隊的兩位隊員均來自方班一期。
獲獎團隊成員表示，對於對抗樣本的產生原因，相比於通常認為其來自於神經網路模型自身因素，他們傾向於認為資料集的不完備標註才是產生對抗樣本的主要原因，因此尋求採用更加簡潔高效的方法去發現這些對抗樣本，而非研究神經網路本身。鑑於這個思路，團隊提出了一些新的想法。
在團隊中，胡衛雄負責比賽的程式碼實現，包括各種不同方案的對比，並提出切實可行的攻擊思路。謝禹舜負責蒐集和尋找相關的最新文獻，並從最新論文中尋找突破點。
無目標攻擊賽道的前三名獲獎團隊。
奪冠團隊採用的方法簡潔高效：通過兩種常見的攻擊模型進行整合並迭代多輪。這種整合了快速梯度符號法和限定區域擾動法的模型執行速度相當快，從而使團隊有時間執行更多輪數。同時，奪冠方法也提供了一種新的攻擊思路，廣州大學的團隊成員表示：「如果比賽沒有時間限制，我們可以採用一些更有效的攻擊方法進行整合，同時增加迭代輪數，取得更好的攻擊效果。」
廣州大學的選手們認為，對於對抗樣本的理解是最重要的問題。試想一下：對於一張 M×N 畫素的圖片，如果我們對所有可能出現的樣本均進行了正確的標註，則不存在這張圖片的對抗樣本。然而在實踐中，影像的數量太過龐大，單通道便有 256^(M×N) 種，不可能對所有的樣本進行標註。那麼，如果我們對不同類別分佈的樣本，在其臨界處均做了很好的標註，則可以很大程度上能限制對抗樣本。這也是廣州大學幾位參賽隊員正在進行的工作之一。
「因此，我們或許並不應該聚焦於神經網路模型自身的修正和攻擊，很多複雜的攻擊方法有可能適得其反；而針對黑盒測試模型，我們也沒有必要去探索這些模型的結構，我們只需要更加快速、高效地去尋找對抗樣本即可，這也可能是我們方法能更好地用於攻擊黑盒模型的原因之一。」成員們表示。
生成對抗樣本圖所需要的 GPU 算力是多少？廣州大學團隊表示，雖然這次比賽有時間限制，但是用於評測的圖片數量不多，所以生成擾動圖片並不需要太強大的算力支援，跑出評測的結果圖僅使用本地電腦的 CPU 即可：「我們也嘗試了在 GPU 上跑很多複雜的方法，但是效果反而不如這種簡潔高效的攻擊方法。」
目標攻擊賽道
目標攻擊賽道的奪冠團隊為東南大學和普渡大學兩位在讀博士劉洋和吳凡優組成的「Five_A」組成。
目標攻擊賽道前三名團隊。
在這個賽道上，冠軍方案使用了一種基於整合模型的改進 PGD（投射梯度下降）攻擊方式 EPGD，以自適應的改變 PGD 中每一步的步長。並選擇一種稀疏的掩膜使得 PGD 求得的擾動只產生在掩膜區域，降低影像整體的擾動。與現有的 PGD 方法相比，得到的對抗樣本擾動更小，與 C&W 方法相比計算時間更短。
對於 PGD 的改進讓冠軍團隊 Five_A 的成績大幅領先於對手。「在比賽期間，我們曾經一度有過瓶頸，通過研究了大量相關文獻，我們發現了現有的 PGD 方法的一個小缺陷，並進行了改進，」Five-A 團隊成員表示。「隨後隊伍的成績立刻衝到了第一名，並且在比賽的 90% 的時間都保持第一。」
亞軍團隊方案則引入了 Ghost network 以增強基礎模型的多樣性，從而提升對線上未知評測模型的攻擊效果。另外，該團隊通過輸入隨機化的方法，引入隨機噪聲、對輸入樣本進行隨機變換等，提升了輸入的多樣性，進一步可以提升攻擊的遷移能力（如圖 1）。
季軍方案為了降低 Softmax 的飽和度，在 MI-FGSM（動量迭代快速梯度標註法）中對 logits 除以一個大於 1 的 K 值，使不同分類之間的 softmax 值更加接近，在有目標攻擊成功率上得到了很大的提升。
圖 1 目標攻擊賽道亞軍的攻擊方案框架圖
對抗樣本防禦賽道
防禦賽道的獲獎團隊「RNG」所有成員均來自中國科學技術大學。三位成員中，劉嘉陽正在攻讀博士學位，崔灝和董瀟逸正在讀碩士。他們同屬中科院電磁空間資訊重點實驗室，去年還一同參加過上海的 CAAD CTF 對抗樣本攻防賽。
與另外兩個賽道的奪冠隊伍不同，RNG 的三位隊員每人負責一個賽道的初步設計，在比賽時他們也經歷了趕 Deadline 的緊張。
「由於我們是在最後的半個月到一個月才開始專注於比賽，因此時間比較緊張，」隊員們表示。「尤其是最後一週時間內，每次提交機會都非常珍貴，結果需要在本地反覆測試選擇。由於最後一天上午 10 點停止提交，因此為了保證不浪費這三次機會，我們從 0 點開始通宵測試，一直堅持到 9 點用完最後一次提交機會。」
防禦賽道的前三名獲獎團隊。
在防禦賽道的比賽中，選手們主要考慮了高強度的資料增廣的方法來提升模型的魯棒性，同時通過模型整合的方法來提高最終結果，而後通過不同的策略來進行進一步的提升。中科大 RNG 戰隊通過對整個防禦模型訓練的流程分析，提出了『對抗樣本全流程方案』。
在輸入預處理階段，RNG 的方案採用多尺度隨機濾波策略，使用幾種大小的隨機濾波核處理圖片，破壞掉高頻對抗擾動。在彙總結果階段，則通過比較模型輸出預測類別的分佈與經驗類別分佈的差異，檢測對抗樣本導致的異常類別分佈，剔除異常的分類結果。通過相對完整的策略，RNG 戰隊在兩輪比賽中均取得了第一的成績。
他們的主要策略如下圖所示：
來自北京科技大學的楊喬、蔣應元與中國科學院大學的王軍鵬組成的「三個火槍手」戰隊在資料增廣階段除了常用的影像多尺度空間表達外，還提出了基於 Grad-CAM 的增廣方法，通過提取影像的顯著性區域進行鍼對性破壞。模型在此類樣本上進行對抗訓練過後，會盡可能多地挖掘出影像中具有分類價值的區域。如下圖：
在對抗訓練方法上，受到知識蒸餾和高階引導去噪的啟發，他們使用了一種特徵圖指導對抗訓練方法。即通過教師網路輸入原圖，並提取原圖的特徵圖，用以指導學生網路在對抗樣本中提取特徵，從而讓學生網路能更好地從攻擊樣本中提取特徵：
通過以上策略，三個火槍手戰隊取得了第二名的成績。
人工智慧技術快速發展落地的今天，我們的手機、超市的攝像頭中都在應用 AI 技術。而在未來，AI 也將會成為無人駕駛、智慧城市等場景的技術基礎。為了能讓系統難以被攻破，我們還需要更加完善的演算法，而本次比賽在攻擊/防禦方法的探索過程中積累了大量經驗，很容易應用到選手們各自的研究領域。
在決賽中，清華大學電腦科學與技術系教授朱軍對參賽隊伍作了點評。
「對抗樣本在學界的研究火熱，但是業界似乎對這一方向少有應用，」奪冠團隊成員，廣州大學的胡衛雄表示。「本次比賽證實了業界並非不重視對抗樣本方向的研究。在未來，我們會堅持面向落地的科研，堅持探索對抗樣本，堅持對人工智慧及其可解釋性的深入研究。」
延續本屆人工智慧對抗演算法競賽的主題，阿里與清華還聯合推出了「安全 AI 挑戰者計劃」，希望能形成對抗樣本社群，點選「閱讀原文」瞭解更多內容。