提速60倍！智慧WEB安全攻擊系統應用到實戰中的效果

或許你還記得戰勝人類圍棋世界冠軍的 AlphaGo，或許你還了解戰勝Dota 2人類職業玩家的 OpenAI Five，人工智慧透過強化學習，已經可以在多種競技遊戲如卡牌、麻將中打敗人類。

如果把強化學習引入到網路安全智慧攻擊裡，並且落到實戰中，會是什麼效果？

8月27日，第11屆 KCon 駭客大會線上開播，以“匯聚駭客智慧、專注網路攻防技術交流”為理念，本次大會共篩選出了18大熱門乾貨議題進行分享。

深信服千里目安全技術中心-創新研究院遲程博士帶來了《智慧WEB安全攻擊系統》的分享，為我們剖析了原本依賴於安全專家的實戰攻擊階段，用基於強化學習的智慧WEB安全攻擊系統後，實現了提速60倍的滲透攻擊實驗結果。

靈感由來：防火牆防護工作流程與強化學習

遲程博士提到，過於依賴人力以及安全專家技術和WAF安全能力評估成本高是本課題希望解決的兩大問題。在團隊對防火牆防護時的工作流程觀察中發現，整個流程不斷和環境進行互動，和強化學習的設定很相似。

於是，團隊基於強化學習設計了整個方案，將攻防對抗作為一個遊戲讓強化學習智慧體去“玩”。

團隊設計了繞過動作庫類比於玩遊戲時的操作動作，安全產品和靶機代表遊戲的環境，給智慧體反饋告訴它傳送的資料包是否繞過防護併成功執行，智慧體根據反饋和當前狀態（state）來選擇下一步變異動作，這樣就把攻防對抗問題建模為強化學習問題。

攻堅克難：如何在實戰中進行應用？

將強化學習引入智慧攻擊，其實不是一個新鮮的課題。

遲程博士在議題中也分享了國內外團隊在該課題上的嘗試，但都很難應用到實戰攻防對抗中。

目前的商用WAF都會有聯動封鎖之類的封鎖IP的功能，如果在實戰中進行大量攻擊嘗試會導致IP被封，所以在實戰中難以發揮出較大的價值。

為了解決這個問題，團隊將該方案分為兩大環境——訓練環境和實戰環境。

首先在訓練環境中，團隊會部署各家廠商的安全裝置和漏洞環境，在訓練環境中去訓練強化學習的智慧體學習如何繞過各家廠商的WAF。

而在實戰場景中，團隊會將訓練好的智慧體整合在自動化工具或自研的一套工具中，先判斷目標的WAF廠商，再根據廠商自動選擇強化學習智慧體模型，對工具使用到的payload進行變異，繞過防護WAF，達到對目標網站進行滲透測試的目的。

透過兩個環境的拆分，智慧攻擊在實戰中就能夠做到一擊即中的效果。

既然是實戰應用，就離不開準確率的評估。傳統web fuzz方法會改變payload語義，會導致變異後payload可以繞過WAF，但不能執行攻擊。

對於這一點，遲程博士分享道，團隊採用的強化學習演算法是OpenAI在2017年提出的PPO演算法，這樣大大提高了準確率。

提速60倍：在數家使用者實戰中得到驗證

講到最後，遲程博士也展示了該課題目前的實驗結果。

除了在內部對抗實驗中，實現了對公司內部檢測引擎的最佳化，更是在對外的紅隊檢測服務中，達成繞過成功率100%。以往安全專家需要半天到一天的時間搞定一個目標，現在僅需要幾分鐘，提速60倍以上，大大提升了滲透攻擊的效率和準確率！

團隊將功能整合到SQLmap工具中，已在數十家使用者驗證一鍵注入效果，並獲得了多位使用者感謝信。

深信服千里目安全技術中心-創新研究院一直致力於安全和雲端計算領域的核心技術前沿研究，推動技術創新變革與落地，擁有安全和雲端計算領域500+專利，實現攻擊和檢測技術的相互賦能，並及時把能力輸入到業務線中，實現自身產品的迭代最佳化。

未來，深信服千里目安全技術中心也將不斷提高專業技術造詣，深度洞察網路安全威脅，持續為網路安全賦能。