直播回顧 | 【原引擎】解密雲原生安全：如何應對新型BOT攻擊？

BOT流量是指在網際網路上對Web網站、APP應用、API介面透過工具指令碼、爬蟲程式或模擬器等非人工手動操作訪問的自動化程式流量，一般也稱為機器人流量。而惡意的BOT流量透過利用代理或秒撥IP、手機群控等手段來爬取資訊資料、搶刷介面、薅羊毛、外掛作弊等惡意攻擊行為，對業務帶來資訊洩露、資金損失等風險，損害網站和使用者的利益。

 

騰訊安全團隊釋出的報告顯示，整體網際網路流量中BOT流量佔整體網際網路流量的60%，惡意攻擊性的BOT流量佔據網際網路整體網路流量的46%。同時，在今年騰訊雲安全中心已檢測到的200多起復雜攻擊事件中，也有大量BOT、養號、惡意註冊、CC等高階手段能繞過傳統裝置。惡意BOT流量增長迅猛且呈現多端混雜的趨勢，攻擊目標從業務資源型BOT逐步切換為針對業務內容的API型BOT，對企業BOT防護的能力提出更多考驗。

 

基於此，11月10日晚，騰訊安全聯合安在新媒體舉辦了“【原引擎】雲原生安全加速倉”第二期直播活動，以“BOT流量”為切入點，邀請騰訊安全高階產品經理趙思雨、騰訊安全高階安全專家馬子揚兩位專家，為大家詳細介紹了應對新型BOT攻擊的解決方案和實操演練。

《BOT流量管理應用場景與解決方案》

趙思雨  騰訊安全高階產品經理

透過持續監測雲上安全風險，總結出當前應用安全態勢呈現以下三個方面趨勢。

 

一、攻擊呈現服務化、產業化，上下游產業鏈持續豐富；新興的雲函式，serverless、雲真機等技術，讓攻擊者使用資源成本更低。一些服務商也會為攻擊者提供商業化的惡意BOT工具，形成了密切配合的上下游產業鏈。

 

二、攻擊工具越發普及化、大眾化，攻擊技術和BOT工具更加普及，在公開程式碼平臺、社交平臺上已經開始廣泛傳播，使得部分正常使用者也能使用BOT攻擊工具，無意識的對業務進行訪問和攻擊；

 

三、攻擊方式大多為自動化、武器化，攻擊者在漏洞公佈後的幾個小時就可以通諾BOT工具開始全網大規模的掃描，

在去年年底爆發的log4j2漏洞就印證了這一點。

 

從本質上來說惡意BOT防護就是有效判定是否為正常使用者，並阻止惡意指令碼的自動化執行。基於此，Bot防護的應用場景絕不僅限於反爬蟲等狹義的惡意BOT，還可以運用至：

 

網站安全防護：漏洞探測、零日漏洞、應用DDOS。

資料安全防護：防爬蟲、防內鬼、防資料遍歷、防拖庫。

賬號安全防護：暴力破解、批次註冊。

交易欺詐防護：虛假交易、交易篡改、黃牛黨等等。

 

傳統BOT防護手段會給企業帶來較多的不確定性，比如規則命中的準確性上會存在非黑即白的判定，同時，隨著運維深入，多衝規則容易導致規則之間衝突和事後歸因困難；其次，由於缺乏人工智慧，缺乏情報類資料的參與，常規BOT判定的誤報相對較多，防護效果在不同時期有較大的波動；再者，業務的強耦合會在前期開發過程中提升使用者業務的工作量。還有其他問題，諸如私有化部署使得落地方案加重，防護成本會隨著裝置的不斷升級而變高等等。

 

識別、防護和管控

 

使用者最迫切需要的，是一個既能夠精準準確識別惡意BOT，又能夠簡單高效搭建安全防線，還能能深入下鑽反饋，形成閉環運營的管理的“一攬子解決方案”。

 

騰訊雲WAF在解決BOT問題的核心邏輯就是做到：識別、防護和管控的協調統一。

在識別階段，如果把攻擊者的路徑逐步拆解，我們會得到一條攻擊全鏈路圖譜，因此在實現全鏈路檢測的系統化識別是識別準確性的重要保證。其中，如何能夠料敵於先，在交手的第一時間就能快速判定惡意流量，這就需要第一手情報和前端對抗能力的保證。

 

在觸達業務的過程中，要能應對更高階的擬真BOT和變種，“魔高一尺，道高一丈”。需要人工智慧自學習的能力，並且在訓練AI模型時需要海量資料基礎和更強大的專家經驗的加持。

 

在防護階段，往往在攻擊發生時，沒有大量的時間做深入的判定和最佳策略決策，此時對客戶來說“如何能快速的建立防線”是第一要務。指明哪些要攔截，哪些要做人機識別的判定，哪些可以直接放過，這些是客戶的需求所在。這就是考驗產品設計和對安全運維理解的時候。

防護階段的第二大需求是，基於不同的場景需要不同的方式和模板，即把不同專家在不同場景和各個行業的經驗固化下來，形成推薦化的配置，這樣可以快速地幫客戶解決在不同行業場景下的識別問題。

 

在管控階段，直觀分析是首要的能力，比如從海量的日誌裡第一時間直觀地告知哪些業務遭受了攻擊，遭受的是哪一類的攻擊，這些攻擊來自於哪裡，等等。然後在這個直觀的分析中要有能幫助客戶進行下一步的決策。

 

精細化管理之後，必然要能對資料進行深挖下鑽，這樣才能進一步提升反饋，然後再透過反饋對策略進行調優，這樣資料就能夠實現運營閉環，同時這個閉環可以因正反饋而進行迭代，實現管理的可持續性。

騰訊實現BOT管理的重要思路

 

騰訊雲WAF擁有龐大的基礎信譽資料，包含了多年積累的各種惡意BOT型別、客戶端的指紋資料、IDC中的IP資料、惡意爬蟲的特徵和騰訊沉澱了20多年的威脅情報。其中，情報更新迭代的速度也為騰訊WAF的基礎提供了充分的價值，比如對於一些基礎的指令碼或惡意IP，可以非常快速地進行識別和封堵。

在客戶端對抗方面，包含了執行環境監測、頁面防除錯技術、動態令牌技術和動態驗證技術；在後端流量分析方面，包含了基礎會話特徵統計分析、行為特徵統計分析、異常特徵水位監測、專家和AI異常檢測模型。

 

不僅有了以上識別的技術作為基礎，在防護階段，騰訊雲WAF會聯動騰訊的藍軍，透過他們在攻防演練、重保期間挖掘到的payload樣本，不斷最佳化迭代反饋防護策略來調整訓練模型等，實現以攻促防，不斷補位AI引擎上的這些能力，以及在演算法和模型上實現進一步的迭代。

 

在電商搶購、惡意評論、下單鎖座、水軍引流、惡意註冊、重保護航的場景下，騰訊會據細分行業下的典型暴的場景進行檢測，為客戶推薦處置方案，這些處置方案可以解決客戶90%以上的BOT配置問題。

 

在管理階段，藉助於全流量的分類標籤資料逐級下鑽，最終為使用者實現完整的分析分類管理的閉環運營能力，讓BOT不僅防的準確，而且用的簡單。

 

各階段的關鍵點

 

識別階段非常關鍵的點在於客戶端的風險感知和識別，其中需要運用到的技術比如有動態令牌。對當前頁面內的合法請求地址授予一定時間內有效的一次性令牌，同時阻攔沒有令牌的非法請求。動態令牌可保障業務邏輯的正確執行並防止攻擊者發出非法請求，可抵禦越權訪問、網頁後門、重放攻擊等。在動態驗證過程中，會根據威脅態勢生成不同的檢測程式碼，以增加應用的不可預測性，提升攻擊者或自動化工具假冒合法客戶端的難度。

除了透過對抗的方式來進行人機的驗證，判斷訪問的異常特徵外，作為其能力的補充和迭代，騰訊還提供了更加強大的威脅情報。騰訊雲WAF結合了情報海量的標籤能力（每天處理近3萬億條資訊）來提升BOT識別率，情報會賦予每個IP不同的標籤，對於每個標籤的置信度、威脅等級、活躍時間、人機機率等維度都透過特定的演算法計算除了每個IP的BOT得分，再結合WAF自己其他方式的BOT檢測方式綜合給出一個結論，即惡意BOT分數。實驗資料表明，相較於沒有威脅情報，WAF的BOT識別提升了50%+。

 

到達後端之後，騰訊智慧分析系統可多維度實時地進行運算來將BOT進行分類。其中會採集到協議的頭部特徵、請求特徵、訪問行為的特徵、訪問請求量等。從這些特徵中會提煉它們的值，並做基礎性地分析、高階地分析、場景化地分析，最後得到一個綜合得分。此綜合得分能夠幫助使用者快速地建立對BOT最直觀的判定機制。

 

最後透過BOT得分，打通使用流，形成BOT流量管理閉環。

 

 

不同場景BOT防護方式

 

流量密集型BOT，集中表現在QPS突發超預期，比如非活動期間，業務QPS快速上漲，擊穿QPS上限。再比如訪問URL雜湊度過大或過於集中。

 

擬真型BOT，訪問行為的序列與在真實使用者訪問行為序列特徵相似，訪問頻次較慢，保安目的較為固定，行為具有特徵，URL分佈相對均勻。主要體現在獲取敏感資料，秒殺搶購等資源搶佔行為，或是影響商業投放等方面。

 

通常在業務大促期間，密集型Bot還表現為針對特定API定點峰值大，同時請求包含多個使用者的惡意流量等業務流量混雜的特徵。

 

在重保&攻防演練場景，BOT起到的是工具化的作用，比如透過BOT來實現自動化的掃描，實現API的繞過，透過BOT來攻擊繞口令，挖掘網路暴露面等。

 

面對這些場景，BOT解決方案可透過前端對抗、威脅情報、AI評估與智慧統計、動作設定、自定義會話策略等能力幫助客戶防護BOT惡意流量攻擊。

 

典型案例

 

國內某著名科技製造業公司，有官網、自建商城系統等業務，使用了第三方傳統安全產品防護，前段時間活動上線當天，遭受了海量攻擊以及高強度的攻防對抗。

 

攻擊者在攻擊手法上，透過長期踩點獲取使用者的暴露面和脆弱性資產資訊，結合了養號、秒撥IP等多種手段，結合了CC、滲透、爆破等多種攻擊（服務不可用來勒索），並且這多種攻擊手段之間變換迅速。

騰訊雲WAF因此緊急上線，首先，透過雲WAF CC防護設置解決來自七層的集中式高頻CC攻擊；其次，藉助威脅情報及BOT 管理及時發現並處置分散式低頻CC攻擊，處置來自代理、秒撥、IDC 的惡意訪問源的惡意請求。第三步，配置WAF內建的業務安全，及時發現來自惡意手機號、接碼平臺的註冊，保障了真實使用者的合法權益。以上措施實施後，不僅客戶業務的安全得到了保障，同時客戶伺服器的壓力和頻寬成本也大幅減小。

 

最後建議客戶透過雲監測梳理網際網路暴露資產，及時發現網際網路資產意外暴露，透過雲防火牆進行合規配置，防護意外暴露。

 

 

《BOT管理的最佳實踐》

馬子揚  騰訊安全高階安全專家

 

當使用者發現自己遭受了BOT攻擊時，比如發現CPU滿了、tcp連線數在不斷上升，這時可以開啟騰訊WAF的控制檯，然後把對應的域名輸入進去，再把對應業務的會員地址填好，接下來對接入域名進行修改，完成之後會發現被分配到了C  name，把C name填寫好之後，輸入相應的驗證碼，等待全球的DNS解析，解析完成之後，就完成了一次對網站基礎性的防護了。

 

在面對外掛時，一樣可以透過BOT解決方案來處理。首先先透過BOT流量分析來做處置判斷，把裡面相關的分數波段描繪出來，並且針對這些不同分數段的攻擊者進行針對性的處置措施，透過這樣的能力可以看到惡意流量的路徑也可以有效進行封堵。

 

BOT行為管理不僅能做到清洗流量，還能幫助客戶的流量去偽存真，助力客戶業務成長得又穩又真實。

 

 

BOT治理方案

 

BOT對抗正在不斷升級，從Python到PhantomJS、Headless，再到模擬器、雲真機，再到最後的真人真機，其功能點和技術手段正在不斷地更新迭代。

 

Anti-BOT在客戶端上有許多不同的特點，比如JS探針、APP中的SDK、加密通道，包括IP情報標籤、IP代理情報，賬號內容裡的賬號、郵箱、手機號、裝置指紋，等等。

 

Anti-BOT在流量協議上一樣有所作為，比如JA3指紋，它由某種開發請求工具發起，還有一些開發語言、流量工具的指紋也會包含在內；同時在HTTP頭部協議裡，它會有瀏覽器單獨的特徵，此外還有User-Agent特徵，比如Curl、Python-lib，以及群控中警察遇到的低版本軟體。Anti-BOT對瀏覽器頭部欄位的排序會有一定的要求。

 

Anti-BOT在行為方面，會基於客戶端的對抗，收集使用者的滑鼠滑動、鍵盤燈行為資料，判斷是否為真實的使用者行為還是機器人；同時在後臺分析中透過訪問日誌資料結合大資料分析以及機器學習分析使用者行為，識別BOT行為。

 

 

BOT對抗技術是透過基礎信譽資料+客戶端對抗+後端流量分析等多個維度去達成的，連很多多元低頻群控式的爬蟲也可以很快就檢測出來，哪怕它什麼攻擊也沒做，也能識別出來。

 

在客戶端對抗方面，包含了執行環境監測、頁面防除錯技術、動態令牌技術和動態驗證技術；在後端流量分析方面，包含了基礎會話特徵統計分析、行為特徵統計分析、基於異常特徵水位的異常監測、基於專家及運營和AI異常檢測模型和賬號維度下的連續會話特徵分析。

 

BOT流量整個治理閉環流程分為三步，首先第一步要將流量分析出來，之後對這些流量進行分類，第三步是處置，這樣就形成了流量治理的閉環。比如先透過離線分析出來的內容將當前網路訪問的惡意程度給量化，並且透過危險情報、智慧統計、AI評估進行打分，分數越高，它的惡意程度會越大，最後透過評分進行快速處置。

在分類方面，主要區分惡意BOT、友好BOT，透過對流量的分析透視後，支援使用者對流量進行標註區分不同型別的BOT，同時還能場景化，支援對登陸、爬取等多種場景化配置，區分不同型別的BOT。

 

在分析方面，透過實時和離線分析，對當前流量進行分析，得出當前訪問流量的相關會話、統計、行為特徵資料；並又豐富的報表展示，支援多維度的下鑽分析。

 

在處置方面，支援多種動作，支援使用者自定義會話key，可以定義更細粒度的分析，處理物件，避免出口IP的問題，並支援設定多種處置策略，不同的業務場景、不同的客戶端支援設定不同的處置策略。

 

 

提問環節：

 

問題一：有利用人工智慧來防護變種的BOT嗎？

趙思雨：有。由於需要做全鏈路的檢測，需要做全層次BOT的防護，所以在應對高階的防護，在應對BOT的變種時，人工智慧是必要的選擇。人工智慧中，人工代表著專家歷年來處置惡意BOT能力和經驗的產品化、策略化、程式碼化；智慧代表著藉助AI演算法並根據客戶特徵流量進行不地學習和迭代。

 

對此，騰訊具備足夠多的使用者資料和歷史業務資料，也就意味著有足夠大的樣本和資料來給人工智慧進行學習和訓練；同時騰訊擁有強大的團隊來幫助人工智慧進行演算法和模型的建立；而在本身的演算法能力上，騰訊雲包括騰訊外的許多軟體上，大家都是有目共睹的。

 

問題二：如何預先感知BOT的攻擊並對其採取防範措施？

馬子揚：Anti-Bot裡有大量專家經驗的固化，因此透過這些經驗就可以在BOT流量過來時進行快速地檢測處置，化未知為已知。

 

問題三：如何來去建設縱深防禦的架構？

趙思雨：BOT的影響範圍不會只是防爬、防刷，它在數據安全、網路安全層面都會產生相應的影響。從騰訊WAF的角度來看，其目標是能給客戶提供整體解決方案，首先在基礎安全上能夠藉助AI加語義這種雙引擎的規則，幫助客戶進行初步安全能力的搭建；其次，AI引擎能幫助使用者進行智慧的防護能力的識別；第三在基礎安全層面，WAF還能額外提供技術能力，比如訪問控制、基於地域的封禁等。

 

再進一步，對於所有的執行工具、指令碼，騰訊可以藉助於防爆的模組，來搭建一套非常簡單的基於評分體系的防護防線，除此之外，騰訊還有API防控的能力。這所有的能力都可聯動騰訊的威脅情報和騰訊天域的流量風控，來幫助企業在業務安全層面和精準識別層面進行進一步的聯動。

 

提問四：公司的電商直播業務流量在企業本地的IDC機房，騰訊安全的防護是如何把流量接入並進行防護的？

馬子揚：騰訊雲WAF是連線雲上雲下的一款構築應用安全防線的軟體，因此可以快速地去幫使用者做一些流量牽引，比如透過使用SaaS WAF的形式將dns流量解析到WAF上面，然後在迴歸到IDC機房裡，這樣就能清洗這一部分的BOT流量。