清華、阿里、RealAI等頂尖團隊釋出首個公平、全面的AI對抗攻防基準平臺

想象一下，如果街道上自動駕駛的汽車因AI視覺系統受到AI演算法誘導攻擊，而引發行駛軌跡發生改變；或者有人透過AI技術模仿出跟你熟悉的親朋好友一模一樣的聲音，找你借錢；亦或是家裡的AI智慧裝置遭遇駭客入侵；甚至物聯網更加智慧的未來社會，有人植入AI智慧心臟輔助裝置也遭遇攻擊，引發當機，這些後果將會怎樣？

清華大學計算機系教授、RealAI首席科學家朱軍就指出，儘管人工智慧技術取得長足進步，人工智慧演算法的安全性仍存在嚴重不足，對智慧技術的應用帶來較大的安全隱患。

6月3日，清華大學聯合阿里安全、Real AI釋出了首個公平、全面的AI攻防對抗基準平臺，該評測基準基於清華大學在2020年GitHub開源的ARES演算法庫，該平臺致力於對AI防禦和攻擊演算法進行自動化、科學評估。AI模型究竟是否安全，攻擊和防禦能力幾何？只需提交至該平臺，就可見能力排行。

從源頭保障AI模型安全

“就像打仗一樣，攻擊者可能用水攻，也可能火攻，還可能偷偷挖條地道來攻打一座城，守城的人不能只考慮一種可能性，必須佈防應對許多的攻擊可能性。”參與該評測基準平臺設計的阿里安全高階演算法專家越豐這樣比喻。

尤其要關注惡意攻擊者對資料或樣本進行“投毒”，故意影響AI模型的攻擊行為。

UIUC（伊利諾伊大學）電腦科學系教授李博認為，機器學習在推理和決策的快速發展已使其廣泛部署於自動駕駛、智慧城市、智慧醫療等應用中，但傳統的機器學習系統通常假定訓練和測試資料遵循相同或相似的分佈，並未考慮到潛在攻擊者惡意修改兩種資料分佈。

這相當於在一個人成長的過程中，故意對他進行錯誤的行為引導。惡意攻擊者可以在測試時設計小幅度擾動，誤導機器學習模型的預測，或將精心設計的惡意例項注入訓練資料中，透過攻擊訓練引發AI系統產生錯誤判斷。好比是從AI“基因”上就做了改變，讓AI在訓練過程中按錯誤的樣本進行訓練，最終變成被操控的“傀儡”，只是使用的人全然不知。

“深入研究潛在針對機器學習模型的攻擊演算法，對提高機器學習安全性與可信賴性有重要意義。”李博指出。

之前的研究者在衡量模型的防禦效能時，基本只在一種攻擊演算法下進行測試，不夠全面。攻擊演算法是經常變化的，需要考慮模型在多種攻擊演算法下和更強的攻擊下的防禦能力，這樣才能比較系統地評估AI模型的防禦能力。

再加上業界此前提出的各種“攻擊演算法排行榜”只包含一些零散的演算法，測量攻擊演算法的環境只包含單一的防禦演算法，用於評測的資料集也不多，並沒有合適的統計、度量標準。

阿里巴巴安全部技術總監薛暉表示，參與推進這項研究工作，除了幫助AI模型進行安全性的科學評估，也是為了促進AI行業進一步打造“強壯”的AI。

構建AI對抗攻防領域標準測試平臺

為解決上述問題，近日，清華大學、阿里安全、RealAI三方聯合提出深度學習攻擊防禦演算法及評測的基準平臺。

不同於之前只包含零散攻防模型的對抗攻防基準，此次推出AI對抗安全基準基本上包括了目前主流的人工智慧對抗攻防模型，涵蓋了數十種典型的攻防演算法。不同演算法比測的過程中儘量採用了相同的實驗設定和一致的度量標準，從而在最大限度上保證了比較的公平性。

除此之外，本次釋出的AI安全排行榜也包括了剛剛結束的CVPR2021人工智慧攻防競賽中誕生的排名前5代表隊的攻擊演算法。此次競賽吸引到了全球2000多支代表隊提交的最新演算法，進一步提升了該安全基準的科學性和可信性。

“透過對AI演算法的攻擊結果和防禦結果進行排名、比較不同演算法的效能，建立AI安全基準具有重要學術意義，可以更加公平、全面地衡量不同演算法的效果。”朱軍介紹道。

圖說：AI演算法的攻擊結果和防禦結果進行排名，實現不同演算法效能的比較

“該基準評測平臺利用典型的攻防演算法和CVPR 2021比賽積累的多個效能優越的演算法進行互相評估，代表當前安全與穩定性測量的國際標準。”RealAI副總裁唐家渝說。

越豐認為，該平臺的釋出對工業界和學術界都能帶來正面的影響，比如工業界可以使用該平臺評估目前AI服務的安全性，發現模型的安全漏洞。同時，也可為學術界提供一個全面、客觀、公平、科學的行業標準，推動整個學術界在AI對抗攻防領域的快速發展。

清華方面介紹，本次釋出的AI安全基準也是依託清華大學人工智慧研究院研發的人工智慧對抗安全演算法平臺ARES（Adversarial Robustness Evaluation for Safety）建立。ARES作為古希臘神話中的戰神，雙手持矛和盾是攻防合一的化身，集中體現了AI安全演算法攻防博弈的特點。該平臺對主流的攻防演算法實現了模組化的設計，支援數十種主流攻防演算法的實現，可以方便研究者和開發人員進行使用，有助於推動AI對抗攻防領域的發展。

清華大學、阿里安全、Real AI三方強調，該基準評測平臺不是專屬於某一家機構或者公司搭建的平臺，需要工業界和學術界的共同參與才能把它打造為真正受認可的全面、權威的AI安全評估平臺。因此，三方將聯合不斷在排行榜中注入新的攻擊和防禦演算法，並且歡迎學術界和產業界的團隊能提供新的攻防模型。

“資料對於AI發展非常重要，透過對於不同攻擊和防禦演算法統一全面的對比，相信這次的平臺可以為機器學習模型的安全與穩定性驗證提供更全面的支援，併為進一步設計開發新的安全、強壯的學習演算法提供有力的技術背書。”李博說道。

附1：基準測試平臺網站http://ml.cs.tsinghua.edu.cn/adv-bench/

附2：ARES開源演算法庫https://github.com/thu-ml/ares