產業智慧化的大江大河，需要AI安全這樣守護

當前，諸如影像識別、語音識別、自然語言翻譯等AI技術已經在移動網際網路、新型產業甚至眾多傳統產業領域得到普遍部署和廣泛應用。以機器學習、深度學習為核心的第二次人工智慧的加速成熟，終於迎來了人工智慧技術的高光時刻。

無論是國家、科研機構，還是科技企業和各個產業，也都在以滿懷憧憬的熱情來推動著AI從科研學術成果走向產業落地。

AI技術的普及速度確實遠超歷次新技術革命帶來的產業速度，其應用的規模和深度也正在像電力、石油、網際網路一樣，被看作新的生產生活的基礎設施。

在備受AI技術廣闊前景的鼓舞之時，人們也開始意識到AI技術本身也是一把雙刃劍。

AI既能推動生產效率的提升和產業的數字化智慧化水平的提升，同時又能帶來全新的技術風險和隱私倫理問題，成為新型詐騙犯罪、黑產牟利的趁手工具。

更重要的是，AI技術本身也存在一大隱憂。當前主流的深度神經網路等技術具有的“黑箱屬性”，導致AI演算法存在不可解釋性。這也就意味著AI技術在演算法安全性上存在著不確定因素，可能會在產業應用落地中出現各種安全隱患和風險。

正如隨著計算機技術和網際網路的誕生，計算機病毒、網路攻擊等危害網路安全的技術便如影隨形，AI技術的出現和發展也將始終伴隨著AI安全的種種問題相伴而行。

AI技術帶給產業的革命性變革的規模、價值越大，那麼，其安全問題所導致的嚴重後果的影響也就越大。

當身處數字化轉型升級的各個產業正在享受這一波新的智慧化技術紅利的時候，AI安全問題，就如同網路安全、資訊保安一樣，被提上產業數字化建設的日程表了。

“看不到”的AI安全風險

提及AI安全問題，很多人第一反應可能是，透過AI技術進行人臉造假、AI仿聲、AI仿寫假新聞、影像及影片造假等帶來的欺詐、隱私安全問題。

確實，當人們驚歎於AI技術幾乎快要無所不能的時候，也能很直觀地意識到AI造假帶來的這類安全問題。畢竟AI造假既有輿論話題，又與大眾息息相關。

但是對於AI技術本身所蘊藏的演算法安全風險，大眾則可能沒有非常直觀的理解。

而這一AI安全風險，則是因為這些演算法被當做“成熟”技術，廣泛應用在產業的各個生產場景當中，因而造成更為隱蔽但同樣後果非常嚴重的次生安全問題。

首先，AI演算法本身存在安全漏洞。因為各類機器學習的高度複雜，帶來的“黑箱問題”使得演算法不可解釋。這就如同我們乘坐在一架不知道由什麼原理製造的發動機驅動的飛船上，看似效果還不錯，但是一旦出現問題，發明者也只能從“發動機”外部進行各種“嘗試性”修正。

其次，演算法的“黑箱問題”會引發各類AI系統安全風險，比如惡意機器學習的產生。攻擊者可以利用AI技術漏洞進行“對抗樣本攻擊”和“資料汙染攻擊”等種種手段，使得AI系統出現判斷失準等問題。

最後，當這些AI系統應用於某些安全性要求極高的領域，比如安防監控、工業質檢、自動駕駛、金融風控以及醫療診斷上面，一旦AI出現判斷偏差，將會帶來直接的經濟財產損失，甚至是人身安全與健康風險等嚴重後果。

原本要應用於提升生產效率和安全性的AI技術，卻有可能走向自身的反面。AI演算法安全問題必須引起這些積極投入智慧化的產業決策者的重視，同樣這一問題也需要得到來自AI技術研究者的積極回應。

建造AI演算法安全的長城

在2018年，信通院釋出的《人工智慧安全白皮書》就將“演算法安全風險”列為AI領域的六大安全風險之一，指出AI演算法當中存在的五種風險：演算法黑箱、演算法設計缺陷、資料依賴、對抗樣本攻擊、演算法歧視。

針對這些演算法安全風險，提供AI演算法的安全評估檢測成為未來的AI安全的重要發展方向。

當前，AI演算法模型，由於演算法黑箱和演算法漏洞的存在，面對攻擊者惡意攻擊難以被檢測。因此，建立可解釋、可溯源、魯棒性強的AI模型成為AI應用落地的根本任務。

而對抗樣本攻擊又是造成當前AI安全風險中的主要手段 。攻擊者可以在判斷階段對樣本加入少量噪音，誘導演算法識別出現誤判，影響判斷結果。提升對抗樣本攻擊的防禦手段，提供演算法漏洞檢測技術，也成為AI安全的當務之急。

隨著產業智慧化落地的加速，AI演算法安全已經成為一個產業現實的需求。當前，像谷歌、IBM以及國內的一些AI開發的公司和團隊，也早已展開了相關AI安全的研究和應用。

據我們瞭解，在AI安全檢測領域，一家背景源自清華大學人工智慧研究院的RealAI，則成為國內第一家專門進行AI安全產品商業化的公司。

為解決AI模型安全檢測問題，RealAI在去年5月與清華大學人工智慧研究院聯合推出一款名為“RealSafe”的對抗攻防工具箱，並於近日就攻防能力和使用方式進行了全面升級。

升級後的RealSafe平臺是目前首個針對演算法模型本身安全的檢測平臺，提供從安全測評到防禦加固升級整體解決方案。非技術人員僅需幾步即可快速應對對抗樣本攻擊帶來的安全威脅

目前來說，RealSafe安全平臺主要可以實現以下三大功能：

1、AI演算法模型的安全檢測。主要包括提供AI演算法漏洞檢測，以及全面、細緻的攻擊效果評測與比較，給出模型安全評分及詳細的測評報告。其方法主要是利用多種主流和自研的演算法生成對抗樣本進行模擬攻擊，透過黑盒查詢攻擊方法與黑盒遷移攻擊方法，來實現AI演算法模型的檢測評估。

2、對抗樣本體驗。這一功能並不難理解。想要成為AI安全技術的領先者，也必然瞭解和精通最豐富的對抗樣本攻擊手段。在去年10月舉辦的GeekPwn2019國際安全極客大賽上，RealAI與清華大學共同組成的TSAIL戰隊獲得“CAAD CTF 影像對抗樣本挑戰賽”以及“CAAD 隱身挑戰賽”兩項比賽的冠軍。其中，RealAI團隊所使用的影像對抗樣本，可以輕易攻破目前主流的人臉識別系統，或者直接騙過目標檢測系統而實現“隱身”。

透過對抗樣本和樣本噪聲清洗後的對比體驗，RealSafe可以將AI對抗樣本攻防體驗線上直觀地呈現給客戶和大眾，從而提高人們的AI安全風險意識。

3、通用防禦解決方案。目前RealSafe已經能夠提供五種去除對抗噪聲的通用防禦方法，可實現對輸入資料的自動去噪，破壞攻擊者惡意新增的對抗噪聲。使用者可以根據自身的AI模型的評測型別，選擇相應的防禦解決方案。據瞭解，部分第三方的人臉比對API透過使用RealSafe平臺的防禦方案加固後，安全性可提高40%以上。

對於AI演算法安全評測以及防禦應用，RealSafe平臺並不是給出一套複雜的演算法模型和開發工具，讓企業客戶再去部署開發，而是採用了流程化、模組化、零編碼的功能設定，使用者只需提供相應的資料即可線上完成評估，極大降低了演算法評測的技術難度。

同時，為了降低使用者理解難度，RealSafe還提供了視覺化和量化的評測結果，可以實現對抗樣本攻擊下的表現評分和防禦處理後的評分變化以及模型效果的變化展示。

在RealSafe已經完成的這一安全檢測平臺之上，可以實現哪些產業領域的AI安全保障呢?

為AI產業落地保駕護航

正如技術發展呈現的“矛與盾”的複雜關係，AI安全也同樣呈現出一種持續攻防的過程。新的攻擊手段出來，也必然要求有新的防禦方法去應對。

隨著AI技術不斷地成熟，以及在工業、金融、安防、交通、醫療教育等領域的實際應用，這場AI安全的攻防賽就會以一種更加複雜和多變的競對狀態呈現出來。

目前，大量的AI安全風險已經出現，而且很多以常人難以直觀理解的方式出現在AI的應用場景當中。

比如，在人臉檢測和識別場景，攻擊者只要對面部的某些部位做出一點修改(比如佩帶帶有對抗樣本圖案的眼鏡)，就可以成功逃脫AI系統的識別，從而實現“偽裝”和“隱身”。而目前人臉比對識別被廣泛應用在於身份認證、手機解鎖、金融、酒店入住登記等等場景，一旦人臉比對識別被惡意攻破，將會對個人資訊保安、財產造成難以估計的損失;

在自動駕駛領域，如果在交通指示牌或其他車輛上貼上或塗上一些小標記，也可能導致自動駕駛車輛產生錯誤判斷，可能會導致嚴重的交通事故。

而對於安防領域，攻擊者對於人臉識別系統的對抗攻擊，也會產生相應的監控漏洞和失誤，從而帶來相應的安全風險。

目前，RealSafe已經應用在工業、安防等多場景的安全檢測當中。其中最新落地的一個案例，可以很好地說明AI安全風險檢測的重要作用。

某電網的輸電塔的監控系統，由於輸電塔的高安全性防護要求，防止吊車、塔吊、破壞輸電線路，需要對輸電塔內外進行全天候的實時監控。而這一實時監控系統已經交由某一目標檢測的AI演算法來提供保障。

RealSafe發現只要對其AI演算法進行一定的對抗樣本攻擊，就會造成監控演算法的失效，從而無法識別非常明顯的情形。為此，RealSafe提供了完整的AI演算法檢測和AI安全防火牆的搭建，從而最大限度地保證了監控系統的有效性。

像這些隱蔽的AI安全風險，普通人可能難以理解，但正是這些風險漏洞，成為那些技術駭客、黑產們每天都在潛心研究的薄弱環節。更不要說，直接利用AI技術的強大造假能力和低成本複製能力，展開諸如人臉造假、語音克隆、筆跡\郵件偽造等引發的詐騙活動。

而這些AI演算法漏洞產生的安全風險和AI演算法濫用帶來的欺詐風險，成為RealAI及其RealSafe平臺持續努力要攻克的安全難題。

作為國內外最早關注AI安全領域的團隊，藉助對於AI演算法攻防技術的多年研究，RealAI提前佔據了在AI安全領域的先發優勢。目前，RealAI在攻擊方面的多項相關技術成果已經發表在國際頂級的學術刊物上，形成了業內較高的競爭壁壘。未來，RealAI也表示，會透過舉辦一些AI安全的攻防比賽，吸引更多AI人才參與到AI安全領域，基於RealSafe的平臺發現更多的安全隱患和防禦手段，形成更為完善的AI安全生態。

RealAI團隊也意識到，保持RealSafe平臺的技術優勢，也必須同產業場景真實的AI安全需求聯絡起來。目前，RealAI已經在工業裝置質檢、金融精準營銷、信貸風控、反欺詐等業務場景開展了多項業務。透過AI模型應用對這些產業業務本身帶來效益提升外，同時也將能夠更好地來發現業務本身可能存在的安全風險漏洞，反過來可以更好地支援演算法模型最佳化。

如果將產業智慧化升級看作一條蓄勢向前的河流，那麼，AI演算法的豐富擴充了產業智慧化場景的廣度，其成熟和升級決定了產業智慧化的深度，而AI演算法的安全可靠，則決定了產業智慧化的長度。

如果在AI的產業場景應用中，一旦存在著致命的安全風險或者其他法律、道德風險，那麼將直接造成某一項AI技術停滯或者AI在產業規模化應用的延遲。

AI安全的重要性再無須贅述了，而加強AI演算法安全意識，提升產業應用場景下的AI演算法安全防護能力，則已經是當下非常重要而緊迫的要求了。

幸而，以RealAI為代表的這些頂尖AI團隊早已開始了這一AI安全領域的征程，RealSafe平臺也正在以標準化的、低學習門檻、低成本應用的方式來實現AI演算法檢測的產品化服務。

這些僅僅是AI安全市場先行者走出的一小步。而這場無止境的AI安全較量中，也必將在未來各個產業智慧化的大江大河中，成長為一塊豐沃之地。