AI防護網路安全？有時它也自身難保

當給資料中植入人類覺察不到的微弱“干擾”時，神經網路可能就會把烏龜看成來福槍，無人車會無視停止標誌，智慧音響就會執行隱藏命令。

研究者已發現在某些AI模型的輸入上增加少量“干擾”，這種經過處理後的輸入樣本通常被稱為對抗樣本，可在人類無法分辨區別的情況下使模型對輸入的分類結果做出錯誤判斷。

 

當今AI成為各個安全公司驅動安全能力提升的新“引擎”，很多產品在利用AI最大程度上提升安全檢測和防護能力。同時，AI本身的安全問題也浮出水面，在RSAC 2019 上，AI可能帶來的安全挑戰及其解決方案成為討論熱點。

AI本身是安全的嗎？

人臉識別、智慧城市、智慧家居等都在運用AI，但一旦後端控制系統被攻擊，出現規模化、連鎖式的崩盤，AI失控的後果不堪設想。AI應用本身（包括AI系統、AI模型、AI資料）也面臨來自多個方面的威脅，這些威脅可能導致AI所驅動的識別系統出現混亂，形成漏判或者誤判，甚至導致系統崩潰或被劫持，並可以使智慧裝置變成殭屍攻擊工具。

1、AI系統本身存在實現漏洞，並不安全

目前AI學習框架多是TensorFlow、Caffe等，可以說是當下AI開發者與研究者的標準配置，但這些平臺卻紛紛被爆出存在安全漏洞和被駭客利用的可能性。這些框架隱藏了其後面的複雜性和其所用的元件依賴，所以極有可能包含安全隱患，任何在AI學習框架以及它所依賴的元件中的安全問題都會威脅到框架之上的應用系統。目前已經發現了很多AI學習框架及其依賴庫中的軟體漏洞，包括了幾乎所有常見的型別，這些漏洞潛在帶來的危害可以導致對AI應用潛在的資料汙染攻擊、逃逸攻擊等。

綠盟科技 天機實驗室專注於漏洞挖掘與利用技術研究，天機實驗室發現：利用TensorFlow本身的系統漏洞，駭客可以很容易的製造惡意模型，從而控制、篡改使用惡意檔案的AI應用。面對更多未知的漏洞和危險，AI開發者近乎是束手無策。

2、用資料汙染的手段攻擊AI應用

《連線》英國版聚焦了用資料汙染AI可能造成的影響——比如說微軟小冰，它是一個人工智慧對話系統，剛上線的時候因為用實時對話的資料進行訓練的，所以你給他一些不好的對話，就會被汙染，這是非常直觀的。

研究發現攻擊者可以用資料汙染臉部檢測演算法，令其將攻擊者的臉識別成獲授權的人的臉。目前傳統的網路安全所構建的安全防禦體系，雖然能夠防禦駭客的入侵和滲透，但顯然並不能防止髒資料或者資料汙染。

如何構建安全的AI？

在推進AI應用的同時，我們迫切需要關注並解決這些安全問題。目前大部分安全聚焦用AI來做應用安全防護，包括安全檢測和弱智慧化的安全防護。

下面給出了此次RSAC上針對AI本身的安全問題的部分解決方案：

1） 區塊鏈的引入

區塊鏈是安全、分散式、恆定的資料庫，由分散式網路的各方所共享，這個資料庫可以記錄交易資料，審計起來也很容易。

區塊鏈技術用來解決資料汙染等問題。有一個清晰的審計跟蹤不僅可以提高資料的可信性，還可以提高模型的可信度，也為追溯機器決策過程提供了一條清晰的途徑。

2） 提高可解釋性

目前由於AI演算法內部的運作往往是不透明的，AI的黑箱問題和可解釋性問題越來越受到關注。深度學習方面的最大挑戰之一是向客戶和監管機構解釋模型是如何得到答案的，但根本不知道模型是如何得到答案的。

然而在《通用資料保護條例》（GDPR）嚴格監管的時代，這種黑盒子似的預測計算根本不足以滿足要求，這正促使很多公司開發可解釋型AI(XAI)。XAI 用於解釋人工智慧所做出的每一個決策背後的邏輯推理，有助於找到資料和特徵行為中的問題。

3） 基於AI的安全系統的安全性評估系統

設計新的安全框架來衡量和量化基於AI的安全系統。在該安全系統中需要能夠解決：評估資料是否被有意汙染，引入第三方資料時是否會導致無意的資料汙染，AI給出不可靠資訊如何評估，是否自動化回應AI推薦的決策並採取行動等。學術界和工業界都在開展研究，AI作為一種手段，可以降維打擊傳統攻擊，抵抗同級的AI攻擊，但是要在實際場景中大規模應用還需要做大量工作，現在AI還只是弱智慧化，適合加以利用做輔助決策。

對網路安全行業來說，“AI是手段，安全是目標”，用AI做安全檢測和防護同時，也要考慮構建安全的AI。