機器學習：安全還是威脅？

機器學習演算法已經成為網路安全技術的一個關鍵部分，目前用於識別惡意軟體，減少警報數量，幫助漏洞修補的優先順序。然而，研究機器學習或人工智慧安全的專家卻警告，這些AI演算法可能會被攻擊者顛覆。

在去年發表的一篇研究論文（邪惡模型：在神經網路模型中隱藏惡意軟體）中，研究人員發現，神經網路的冗餘特性可以讓攻擊者將資料隱藏在一個普通的神經網路檔案中，佔用檔案大小的20%，而不會顯著影響模型的效能。在2019年發表的另一篇論文研究表明，受到入侵的訓練服務可以在神經網路中建立一個後門，並持續存在，即使該神經網路被用於另一項任務的訓練。

Berryville機器學習研究所聯合創始人兼執行長Gary McGraw認為，雖然這兩篇研究論文顯示了可能的威脅，最直接的風險就是竊取或修改資料。因為當人們把機密資訊給到機器，以進行機器學習時，敏感資料通常可以從ML系統中恢復，這種系統往往以不安全的方式執行。當機器學習系統的查詢被暴露時，返回的結果通常就會暴露。這就是機器學習一個非常重要但卻被忽視了的問題，“資料非常重要”。但在網路安全行業，人工智慧和機器學習已成為營銷必備的功能，開發人員專注於利用人工智慧技術創造新的用途，而忽視了人工智慧本身的安全性。

McGraw認為，最大的風險在於資料。

對抗性機器學習

2020年，微軟、MITRE和其他主流科技公司釋出了一份名為“對抗性機器學習威脅矩陣”的潛在攻擊目錄，該目錄最近更名為“人工智慧系統的對抗性威脅環境”（ATLAS）。這個矩陣警告，企業要評估依賴AI或ML技術系統的潛在風險。比如在ML檔案中隱藏資料，與普通風險幾乎沒有區別，本質上是重新建立了一種特殊形式的隱寫術。但我們必須注重ML系統的安全性測試，否則一旦被攻擊者所利用……

圖：對抗性機器學習威脅矩陣

Sophos的首席科學家Joshua Saxe認為，部分原因是安全人員大多關注的是眼前的攻擊，而不是難以實施的、未來的複雜攻擊。畢竟這類攻擊，基本上是人們想象出來的，他們認為攻擊者將來會採取的方法。然而，隨著越來越多的安全專業人員依賴機器學習來完成工作，對威脅環境的認識將變得愈加重要。

研究人員建立的對抗性攻擊，包括C2惡意流量、域名生成演算法（DGA）和二進位制惡意軟體的檢測逃逸等。現實生活中的攻擊案例，如2016年，微軟釋出的聊天機器人Tay開始和人類聊天后，不到24小時就被教壞，成為一個集反猶太人、性別歧視、種族歧視於一身的“不良少女”。還有一次，VirusTotal被資料投毒，以逃避檢測。

Saxe認為，合成媒體（典型的如Deepfake）將是攻擊者在未來幾年中大量使用人工智慧的領域。比如文字生成神經網路GPT-3，可以用來生成網路釣魚的文字，就像是人類傳送的一樣。基於人工智慧的人臉生成演算法可以建立合成真實的人物相貌圖片。

“使用這項技術真的很容易。”

——Sophos首席科學家Joshua Saxe

雖然研究人員已經展示了多種可能的ML攻擊，但大多數攻擊手段的使用還需要數年之久，因為攻擊者的工具箱中仍然充斥著大量更為簡單易用的自動化工具，迄今為止這些工具仍然是成功的。必須阻止ML攻擊的兩個領域是機器人和自動駕駛汽車，否則這兩個領域根本無法普及。因為，機器人和自動駕駛不僅依賴演算法執行，還需要將人工智慧的決策轉化為實際行動。一旦入侵了這些演算法，並影響行動決策，後果不堪設想。