揭秘阿里雲WAF背後神秘的AI智慧防禦體系

背景

應用安全領域，各類攻擊長久以來都危害著網際網路上的應用，在web應用安全風險中，各類注入、跨站等攻擊仍然佔據著較前的位置。WAF(Web應用防火牆)正是為防禦和阻斷這類攻擊而存在，也正是這些針對Web應用的安全威脅促使了WAF這個產品的不斷髮展和進化。同時，各種機器學習演算法和模型也被不斷提出和應用在WAF等安全產品中，以期望解決這些風險。

然而這些演算法大多都以監督學習為主，透過標註的正負樣本資料，構建針對特定攻擊型別的分類模型。安全領域通常面臨著「問題空間不閉合」、「正負樣本空間嚴重不對稱」等通用問題，只是利用機器學習演算法做攻擊檢測同傳統安全檢測技術一樣，並不能解決「漏誤報難平衡」、「覆蓋規模與檢測效能難平衡」等問題。

那阿里雲WAF智慧防禦體系AI核心是如何突破這些問題的？本文就來一探究竟。

阿里雲WAF 已入選Gartner 2019 WAF魔力象限，且是亞太唯一入圍的廠商，同時阿里雲WAF演算法能力被Gartner評為強勢功能。雲WAF AI核心為雲WAF提供核心機器智慧能力，為客戶提供精細化個性化智慧化的防護，最大程度降低安全風險。AI驅動的智慧安全系統趨勢明顯，所帶來的收益也會越來越大。

阿里雲WAF-AI核心技術簡介

在阿里雲WAF的智慧防禦體系中，內嵌一顆AI核心，不同於以往的只關注攻擊檢測的演算法或規則。阿里雲WAF-AI核心採用「流量分層治理」與「千站千面防護」的智慧安全思想，將流量整體分為白、灰、黑三大層，在每一層中部署不同型別的機器智慧模型（主動防禦模型、異常檢測模型、LTD攻擊檢測模型、故障預警模型、漏報感知模型、誤報感知模型等），各層之間的各個智慧模型各司其職、各體自洽、各級聯動，共同協同形成一套對抗應用層基礎威脅的決策智慧體。同時，對不同的站點利用機器智慧自主生成自適應與該站點業務的防護規則或模型，即一千個站點有著一千套不同的定製化的防禦體系，相當於增加了成千上萬的安全專家與駭客攻擊進行對抗，總體形成精細化個性化的智慧安全系統。

主動防禦模型

主動防禦採用阿里雲自研的流量模式學習演算法自動學習域名的合法流量，利用無監督的方式，對每個站點合法訪問流量進行學習和刻畫，機器自主生成對白流量的安全白規則。同時線上上生成數百萬條規則，相當於增加了成千上萬的安全專家。

異常檢測模型

異常檢測模型同樣利用「千站千面」的思想，採用多種異常檢測器從請求片段、時序序列等各種維度識別每個站點的灰流量，機器自主生成對灰流量的數百萬個檢測模型；

攻擊檢測模型

LTD攻擊檢測模型（Locate-Then-Detect）是基於機器視覺方法的深度學習攻擊檢測模型，由兩個深度神經網路組成，分別為PLN（Payload Locating Network 攻擊載荷靶向定位網路）與PCN（Payload Classification Network 攻擊載荷分類網路）。透過兩個深度神經網路的結合，可以準確的定位惡意Payload所在的位置，並對其型別進行精準識別。LTD一方面藉助深度學習強大的特徵提取能力，增強了對威脅檢測的泛化，能夠發現更多變種攻擊，另一方面LTD模型結合了Object Detection和注意力機制的思想，首次解決了深度學習在網路攻擊檢測領域的可解釋性問題。該成果已入選人工智慧頂級學術會議IJCAI 2019。

其他模型

除此之外，阿里雲WAF AI核心還具備故障預警模型、漏報主動感知模型、誤報主動感知模型等。

阿里雲WAF AI核心的整體思想「分層治理」和「千站千面」屬於較大的技術創新變革，不僅僅可以應用在應用層的安全檢測中，在其他安全場景下也能適用，是通用的智慧安全系統的核心正規化。

阿里雲WAF簡介

阿里雲Web應用防火牆（Web Application Firewall，簡稱WAF）基於雲安全大資料和智慧計算能力，透過防禦SQL隱碼攻擊、XSS跨站指令碼、常見Web伺服器外掛漏洞、木馬上傳、非授權核心資源訪問等OWASP常見Web攻擊，對網站或者App的業務流量進行惡意特徵識別和防護，將正常、安全的流量回源到伺服器。避免網站或App業務伺服器遭惡意入侵、保障業務核心資料安全、解決因惡意攻擊導致的伺服器效能異常問題。

值得一提的是，Web應用防火牆依託阿里雲強大的計算和資料處理能力，透過業界領先的AI深度學習方法，在降低誤報率的同時有效地提高了檢出率。同時，Web應用防火牆可以基於使用者業務訪問端上的模型收集和大資料分析能力準實時處理高危請求。另外，Web應用防火牆還提供自動報警和全域性響應規則的同步下發和升級功能。

阿里雲Web應用防火牆適用於金融、電商、o2o、網際網路+、遊戲、政府、保險等行業各類網站或App業務的Web應用安全防護。

Web應用防火牆可以幫助使用者解決以下業務應用安全問題：

防資料洩密：避免因駭客的注入入侵攻擊，導致網站核心資料被拖庫洩露。
防禦惡意CC攻擊：透過阻斷海量的惡意請求，保障網站可用性。
阻止木馬上傳、網頁篡改，保障網站的公信力。
提供虛擬補丁：針對網站被曝光的最新安全漏洞，最大可能地提供快速修復規則。

Web應用防火牆部署在網路出入口位置，透過智慧防護引擎、專家防護規則、主動防禦檢測引擎並結合雲端威脅情報能力，實時識別Web攻擊以及惡意Web請求，根據預先配置的防護策略實時防禦，從而保障網站應用的安全性與可用性。

阿里雲WAF應用的主要技術

1. 正則 + AI雙引擎檢測技術
2. Antibot實時模型演算法反爬技術
3. 大資料威脅情報 + 百萬級IP爬蟲/黑名單一鍵封禁
4. 資料洩露防護技術
5. 海量日誌儲存及智慧檢索技術

阿里雲WAF技術特點和優勢：

阿里雲WAF服務於對Web安全、CC攻擊、應用層負載均衡與限速、業務安全、資料風控有需求的雲上雲下使用者，經過多年的技術積累，在傳統Web應用防火牆的基礎技術架構之上進行了多項技術創新：

業務功能擴充：

阿里雲WAF除傳統WAF產品所支援的基礎Web攻擊類防護功能、CC防護、頁面防篡改以外，額外擴充瞭如下功能特性：
1) 業務安全防護: 線上票務系統惡意查詢/佔座、論壇垃圾帖、惡意註冊、高風險支付等

2) 客戶端SDK安全聯動，無需修改伺服器端邏輯

3) 基於神經網路深度學習和語義分析的攻擊檢測技術

4) 基於請求內容型別特徵機率分析的異常檢測技術

5) 指向性駭客威脅情報分析與溯源

6) 惡意爬蟲防護

7) 敏感資訊洩露檢測與防護

8) 千萬級海量惡意IP庫聯動

9) 手機號、銀行卡、身份證資訊資料風控

10) 使用者網站業務效能分析

11) 海量訪問日誌、攻擊日誌儲存與自定義分析

12) 支援安全應用商店：使用者可以直接透過雲盾Web應用防火牆中的生態商店一鍵開啟第三方合作方SaaS安全服務商提供的安全功能特性

13) 採用雲方式接入，跨多雲環境統一管控：雲盾Web應用防火牆基於雲SaaS模式提供給使用者，接入節點遍佈全球，國際版配置支援全球同步和任意國家節點智慧就近接入。

威脅檢測/攔截方法創新：

1) 基於深度學習的實時分析與攔截：

將HTTP請求中的文字影像化表示，使用深度卷積神經網路對不同攻擊型別的樣本進行訓練，避免人工提取和維護特徵，透過新增樣本提升模型的檢測能力。
分離式GPU處理平臺，透過模型調優和推理引擎最佳化，時延<1.5ms (一般平臺時延在5ms以上)

2) 資料風控與業務安全防禦技術：

流式回應注入採集指令碼，使用者接入無需改造自身服務邏輯。
雲端直接整合大資料風控、人機識別能力。

3) 智慧CC防護技術：

對全量使用者正常流量基線建模，對比基線資料模型實時檢測使用者流量異常發現cc攻擊事件，並自動產生正規表示式規則，生成並下發決策動作。
解決了傳統CC防護規則配置繁瑣，使用者學習門檻高，配置項只能基於經驗進行配置，容易誤殺漏殺的問題。

4) 基於隱性馬爾科夫過程的異常請求分析技術：

對使用者正常流量中的請求引數進行文字歸一化對映，對字元分佈、字串長度進行隱馬序列機率模型建模，實時對於使用者流量中偏移正常機率的異常請求進行異常攔截、進一步攻擊識別等後續工作。

5) 語義分析攔截引擎：

傳統基於關鍵字正規表示式的SQL隱碼攻擊檢測、XSS攻擊檢測方法容易誤殺，且對於註釋變形、字串語法變形等高階攻擊規避方法的檢測效果差。
語義分析攔截引擎基於實際SQL語句、XSS語句詞法、語法分析結合威脅等級綜合判斷攻擊行為，解決了對於高階駭客變形手段的攻擊檢測、攔截問題。

6) 行為分析引擎：

傳統WAF檢測引擎基於特定的攻擊特徵進行攻擊識別，無法檢測業務層的異常，例如刷票、搶紅包、惡意佔座等場景。
雲盾WAF的行為分析引擎對請求中的關鍵行為進行定義、識別。透過分析行為分佈、個體行為歷史特徵、行為跳轉機率、停留時長、時間和地區分佈特徵等行為上下文資訊，分析識別業務層異常。
線上業務實測可以降低99.8%的驗證碼、滑塊彈出場景，提升使用者體驗。

7) 全球分散式限流：

傳統的令牌桶機制可以較好的解決單機限流問題，但是在雲上業務應用場景下常見跨單機、跨叢集、跨地域的分散式限流場景，使用傳統單機技術難以解決。
本系統透過分散式協議, 結合預估-租約-動作執行的整體方案, 達到了可伸縮，低延時的資源全球統一管理效果。
透過實現本系統的匹配介面和動作執行介面，可在限流的同時減少對使用者體驗的影響。如基於使用者流量價值的限流，或基於等待時間的限流。

8) 雲+SDK整合攔截技術：

傳統WAF部署在閘道器端，無法直接獲取使用者客戶端環境的資訊執行強安全身份校驗，雲盾WAF透過與安全SDK聯動，結合終端指紋、雲上威脅判斷和人機互動識別滑塊/驗證碼提供傳統閘道器型WAF無法實現的強身份校驗和通訊隧道加密的功能。

9) 無快取檢測技術：

傳統WAF需要對需要檢測的資料進行快取，在高併發場景下會存在大量的記憶體消耗，雲盾WAF透過快取檢測過程中檢測狀態機的快照狀態，不需要對具體的被檢測資料進行快取，可以支援超過1Gb的資料檢測深度(當前市面上的商業化WAF普遍在100Mb以內)。

10）回應修改與指令碼插入技術：

雲盾WAF基於自研檢測引擎支援對所處理流量進行HTML標籤粒度的內容修改，可以動態插入新元素、替換現有流量資料，做到在不修改使用者伺服器端程式碼的情況下做到修改業務邏輯、插入執行程式碼等工作。

11）主動防禦模型

雲盾WAF透過主動對使用者的域名流量學習，定義出哪些是“白”，以達到最佳的防護效果的一種思路，目前主要採用歸一化的技術來將使用者流量中的合法的URL，引數透過模型自動生成正規表示式來表示。

安全事件分析方法創新：

1) 駭客溯源技術：

透過對攻擊者的攻擊會話進行追蹤，持久化的跟蹤駭客攻擊路徑，雲盾WAF可以分析單個駭客的攻擊鏈條、並捕獲真人駭客的定向web攻擊。

2) 大資料系統聯動與惡意IP情報系統：

透過對流量日誌特徵分析挖掘惡意IP，如代理IP、各類爬蟲IP、肉雞IP等多種情報資訊。透過將惡意IP情報系統與雲防護引擎聯動實現協同防禦。

3) 全量日誌儲存與分析檢索：

基於飛天大資料基礎設施，所有經過雲WAF處理的資料在經過使用者同意後可以做到PB級別全量資料儲存，並進行基於自定義統計語句的快速自定義實時分析和報表定義，並可以作為資料來源與使用者自有的安全資料分析系統進行資料對接。

4) 客戶業務質量分析：

雲盾WAF的資料分析系統可以基於使用者業務返回值、延遲時間、訪問分佈分析客戶業務的實際執行情況與執行質量，為使用者提供效能最佳化建議。

5) 實況資料大屏

基於實時大資料分析技術和三維資料呈現渲染，雲盾WAF提供實時的攔截報警大屏，可以透過WEB端或者YUNOS終端智慧裝置作為投屏源，幫助使用者實時感知安全威脅。

技術架構創新：

1) 大規模分散式應用層轉發叢集

2) 縱深應用層防禦體系

3) 線上線下統一安全管理

4) OpenAPI管控介面

5) 安全與轉發平面分離、業務沙箱

阿里雲WAF獲獎情況：

1. 作為國內唯一廠商入選2019 Gartner WAF魔力象限，2018年進入Gartner亞太地區報告
2. 連續兩年獲得Frost&Sullivan 大中華區雲WAF市場佔有率第一
3. 獲得CNCERT 2018年網路安全創新產品一等獎
4. 產品的Antibot能力進入到Forrester全球技術評測第一陣營
5. 榮獲Freebuf 2016年網際網路安全創新大會”年度雲安全產品及服務”
6. 2017、2018年兩次獲得阿里雲產品飛天獎、雲鼎獎

評委點評

金湘宇 Sec-UN網站創始人/威脅情報推進聯盟發起人：

人工智慧技術已經進入了新的應用階段，比起早年對於基礎技術、 平臺的關注，當前業界更加關注於落地的業務場景、實際效果。阿里雲將AI技術與其早已成熟的WAF產品結合，將傳統的基於規則、特徵的WAF防護產品，利用AI技術實現了異常檢測、攻擊檢測、故障預警、漏洞主動感知和誤報主動感知，將傳統的WAF產品從之前的被動防禦逐漸過渡至主動防禦，並且在阿里雲的眾多使用者中成功進行了運用。阿里雲WAF AI驅動的智慧防禦體系是近年網路安全領域真正的實質創新之一，也是我今年WitAwards我最推薦的專案之一。

惠志斌 上海社會科學院網際網路研究中心主任/賽博研究院首席研究員

阿里雲WAF-AI核心採用「流量分層治理」與「千站千面防護」的智慧安全思想，對不同的站點利用機器智慧自主生成自適應與該站點業務的防護規則或模型，並作為國內唯一廠商入選2019 Gartner WAF魔力象限，2018年進入Gartner亞太地區報告，在一定程度上體現出技術創新性。此外，阿里雲在國內雲端計算市場佔有率領先，外部攻擊場景最為豐富，阿里雲WAF-AI系統連續兩年獲得Frost&Sullivan 大中華區雲WAF市場佔有率第一，因此強大的場景有時可以推動阿里雲WAF-AI系統持續學習演進，具有良好的技術應用前景，值得業界重點關注。

原文連結

本文為雲棲社群原創內容，未經允許不得轉載。