業界難題“模擬點選”,端上如何實時防守?
本文針對模擬點選的黑產實時防控問題,介紹過去2年螞蟻集團在技術方面的工作,旨在介紹風險存在的原因、風險的特點、風險的技術分析以及風險的防控方法。
一、背景
1.1. 模擬點選定義及其特點
模擬點選是非常寬泛的概念,簡單來說,模擬點選是指透過指令碼、系統指令完成一些自動化點選的操作,不需要人為點選。黑灰產利用模擬點選技術,滲透到遊戲行業、金融行業、社交行業、直播行業等等,其具備如下特點:
“可用”裝置多樣:電腦和手機都可以植入模擬點選相關指令碼;
“涉及”場景多樣:外掛指令碼可以用來PC端打遊戲、跳過廣告等;手機端可以用來自動搶紅包、搶購商品等;
“實現”技術多樣:從技術的角度,存在多種實現方法;
1.2. 為什麼要實時防控
黑灰產利用模擬點選技術影響了很多使用場景,在激烈的攻防和快節奏的營銷活動中,急需建立完備的模擬點選風控能力。
其中,對模擬點選黑灰產的實時防控能力建設的必要性體現在:
人贓並獲,及時止損:業務實踐場景需要更靈敏的黑灰產防控時效,比如領券核銷場景,事後防控不能挽回損失。黑灰產的模擬點選防控講究“人贓並獲,及時止損”。
對事不對人:黑灰產使用者可能也會有正常的操作,不宜“一棒子打死”,管控的粒度應為使用者的操作,而非使用者本身,“對事不對人”。
1.3. 終端裝置上建立實時管控能力的必要性
模擬點選防控的“實時化”存在難點。首先在系統鏈路上,支付寶體系下營銷活動是全民級別的,流量巨大,要兼顧風控與業務體驗,這對於風控的處理時效有很高的要求;其次在防控效果上,實時的防控需要更多實時的特徵刻畫,雲端無法獲取足夠的實時特徵。
應對模擬點選防控的難點,終端具備如下的優點:
針對鏈路:
分散式計算:每個裝置可以計算自己的風險,沒有云端大批次實時計算的壓力;
計算前置:裝置上可以自定義風控觸發邏輯,可以在黑產行為發生的時候就分析計算,把分析結果實時傳回給中央伺服器;
針對防控效果:
行為豐富:裝置終端擁有最詳細的使用者行為操作、環境等資料;
1.4. 全文導讀
本文針對模擬點選的黑產實時防控問題,介紹過去2年螞蟻集團在技術方面的工作,旨在介紹風險存在的原因、風險的特點、風險的技術分析以及風險的防控方法。
第一節:引入風險。介紹裝置終端上建立實時模擬點選防控能力的必要性。
第二節:瞭解風險。從業務場景角度和技術特點角度兩個方面,列舉、剖析主流的模擬點選技術的實現方法和效果;並對風險在防控方向上進行歸類。
第三節:防控風險。透過介紹整體防控方法,引出端上實時防控。分為鏈路能力準備、端上策略規則、端上通用模型和端雲聯合建模三個方面介紹端上防控能力。
二、模擬點選技術的前世今生
本節從業務場景角度和技術角度來闡述模擬點選技術,分別介紹目前模擬點選的用途以及實現形式。
2.1. 業務場景角度
模擬點選技術可以幫助視障或是老年群體更方便使用手機,但隨著技術的更新,模擬點選被黑灰產利用,並實踐在自動化搶紅包、自動聊天等黑灰產場景中。本章節收集了遊戲、社交、金融等行業的業務場景和支付寶使用場景的一些典型案例。
2.1.1. 遊戲外掛
遊戲外掛的常見使用場景是指令碼批次開新號、群控操作、指令碼掛機以及指令碼快速操作等。很多網頁遊戲都存在簡單重複的掛機刷怪模式,來達到積分和裝備累加的目的,這類的模擬點選工具往往帶有很強的識圖、識色功能,通常可以根據幾個畫素點的顏色來判斷遊戲是否進入需要模擬點選操作的階段。
2.1.2. 自動聊天
一些交友類 APP 內有付費聊天模式,這便吸引了黑灰產透過指令碼自動聊天來謀利。如附圖所示指令碼,可自動接收和回覆訊息。透過模擬點選,自動輸入文字和點選傳送按鈕,配合精選的問答庫,增加自動聊天的可信度。
2.1.3. 搶紅包
自動搶紅包行為需要後臺指令碼持續監控並且快速進行點選,比如在社交群聊應用中,可能會同時存在很多群,且群裡時不時有人發紅包。使用自動化指令碼就能日常監控群,並在第一時間“替你”點選搶紅包操作。
2.1.4. 風險類自動轉賬
使用模擬點選可以自動給多個指定使用者進行轉賬。由於非支付寶商家使用者不能申請支付寶的支付api,黑灰產另闢蹊徑,使用惡意軟體模擬手動操作支付寶實現轉賬功能。將需要轉賬的手機號寫入txt檔案中,每行包含一個賬戶資訊和轉賬金額,使用逗號隔開,呼叫指令碼自動化執行。
2.1.5. 商品搶購類
在使用者使用支付寶時,存在許多商品/數字化藏品/消費券搶購的場景。“快”是搶購類的模擬點選操作的重要特徵,比如在規定開始時間後,投放消費券,指令碼透過監控時間,快速請求操作“搶”的操作。搶購類模擬點選的使用場景非常多,除了消費券,還使用於大促類活動、積分搶購以及數字藏品類的定時搶購等。
2.1.6. 廣告流量場景惡意流量
廣告流量業務的作弊中,惡意流量十分猖獗。針對商業化廣告流量變現,媒體側和廣告主側的作弊現象嚴重,損害各方的利益,主要形式是透過指令碼或計算機程式模擬真人使用者,又或者僱傭和激勵誘導使用者進行點選,生成大量無用廣告點選,獲取廣告主的CPC廣告經費。
2.2. 風險總結
2.2.1. 風險外在表現
按照暴露風險方式的不同,風險外在表現分為手勢假、協議假和點選假三種。
2.2.2. 風險防控方向歸類
從防控的角度,將上述的所有風險按照如下結構劃分。
裝置風險:針對手機進行的“非法”操作
常見的是否root等,都會在裝置上留下黑灰產痕跡;
行為風險:
離線行為:不關注單次操作的風險,而在離線統計總體行為的異常;
線上行為:關注黑產行為的風險;
低階偽裝:針對端上特徵行為的“露出馬腳”的顯性異常;
高階偽裝:一些黑灰產“高手”在特徵上沒有暴露顯性異常,需要從更加細緻的角度去發現偽裝的隱性異常;
三、端上實時防控
針對上一章節中對風險的介紹和分類,本章從能力上詳細介紹如何防控,分為3個方面:
基礎風險能力:針對裝置風險標籤和離線的風險行為;
端上實時能力:
端上策略規則:針對“低階偽裝”的線上行為防控;
通用端上演算法:針對“高階偽裝”的線上行為防控;
端雲結合:端雲各取所長,聯合建模;
其中基礎風險能力介紹:
從技術能力沉澱的角度大致分為兩個部分:
(1)裝置標籤
裝置被攻擊之後,會留下痕跡,鮮為人知的黑產手段比如獲取root許可權。這些特徵的特點重點體現在離線對裝置的刻畫上,幹了“壞事”的裝置都會有記錄。
(2)離線風險統計
黑產往往具有聚集效應,比如統計黑產行為的異常特徵,這些特徵會迴流到中央伺服器上的實時防控系統中。
對於該能力本篇文章不再做詳細贅述,是已有的非常成熟和完善的能力,端上防控則是對成熟能力的重要補充。
3.1. 端上的能力儲備
針對模擬點選識別,裝置終端上從能力儲備上可以分為兩個方面:(1)具備豐富的特徵,為實時風險刻畫提供基礎;(2)具備完善的鏈路保障,可以根據不同的管控時效,提供不同的特徵上報和下發鏈路。
3.2. 端上通用反作弊模型
3.2.1. 引入
(1)對抗的升級
隨著黑產作案技術水平的提高,存在越來越多的手法,無法被簡單地發現,做到了更高階的“偽裝”,針對模擬點選的指令碼攻擊所帶來的風險操作,除了技術手段之外,防控需要具備行為異常檢測方法。而這個檢測方法的突破點就是使用者和裝置的互動行為。
(2)效率的升級
以前的模式中,防控實現了對業務的即插即用,快上快下,跟上了業務場景的節奏,這得益於具備很強的先驗知識,針對目前越激烈的攻防,以及場景多樣化的趨勢下,在升級能力的同時,也需要能力對場景的覆蓋,實現通用能力。
3.2.2. 建模
透過對黑產行為構建基礎特徵,維護了多條細粒度資料buffer,針對黑產軟體的特點(如一次向上滑動)設計特徵序列,特別地,我們將資料處理成影像的格式,透過卷積模型模型,兼顧對黑產單次操作的風險刻畫,以及多次操作之間的關聯。
3.3. 端雲一體的模式探索
通用模型除了採用端上使用者的細粒度資料,未來還可以加入更多特徵,不僅僅是雲端的其他實時特徵,還包括離線積累的特徵,本節對端雲一體的模擬點選識別進行了探索。
3.3.1. 端雲特徵結合
下發高危使用者雲端異常特徵。從行為上來說,黑灰產在離線有不符合業務邏輯的行為,高危操作的統計具有很強的風險刻畫能力。因此,可以用使用者歷史的離線聚合資訊,最大程度刻畫使用者的作弊風險。雲特徵再結合裝置本地的特徵,全面刻畫黑產的風險行為。
3.3.2. 綜合建模
模型網路主要包含四部分,分別是:
隱形特徵交叉(DNN網路)
包括離線特徵,端上實時特徵,以及部分特徵對應的詞表。
顯性特徵較差特徵交叉(CIN+FM)
機器流量識別場景的特徵分佈,跟推薦場景有類似之處,特徵十分稀疏,特徵之間的交叉很重要。因此針對最頭部的高準確率下的召回率, 採用了推薦中較為常用的交叉網路CIN和FM。
黑產異常行為識別(TextCNN+TF)
TextCNN:捕捉機器操作在行為操作上的相似性,如黑產的機器行為具備高度的統一性。
Transformer:刻畫行為序列整體特徵
3.3.3. 實驗結果
(1)訓練難點:高準確率
防控對模型效能要求極高,需要具備高準確率和高召回率,但由於加入了雲端離線特徵,模型十分容易過擬合,雖然AUC很高,但是頭部的效果(召回率)是毀滅性的。
解決:針對性的調參經驗:
focal loss,降低過擬合風險;
調大手勢識別網路的權重,減慢收斂,降低過擬合風險;
(2)網路結構實驗
重點關注黃色區塊,在DNN網路的基礎上,依次加入CIN&FM網路以及TextCNN和Transformer網路,都帶來召回率上的提升。
四、總結
在過去的兩年中,無論是支付寶日常的營銷活動(如積分搶購),還是年中的常規大促(618、雙十一、大促秋促等)還是年末的活動(如五福活動),針對“模擬點選”的風險,端上始終提供了不可或缺的實時能力,在兼顧使用者體驗、保障業務的同時,有效打擊黑灰產。
來自 “ 阿里雲開發者 ”, 原文作者:固瓊;原文連結:https://server.it168.com/a2024/0103/6835/000006835785.shtml,如有侵權,請聯絡管理員刪除。
相關文章
- 如何利用ABAQUS解決汽車燃油箱模擬問題和難點?
- 如何實現羅克韋爾PLC的模擬量採集和遠端上下載?
- 如何用python模擬點選進行重複話語?Python
- 【模擬設計】模擬技術在智慧製造中的作用;智慧製造難點在模型,焦點在模擬;汽車行業CAE研究模型行業
- 模切製造業ERP如何解決企業管理難題?
- 迴圈點選連結selenium模擬
- PAT-B 1058 選擇題 【模擬】
- 【AutoCAD .NET】如何在無邊界Hatch上選擇邊界點?
- 模擬在頁面點選匯入csv
- 2024屆新題型數學模擬選題
- VUCA時代,RPA如何破解企業資料難題
- 模擬oracle rac節點異常時如何保持ogg正常執行Oracle
- 前端實時搜尋框模擬前端
- 模擬題
- 點晴模切ERP的不同版本,企業該如何選擇?
- HTML網頁根據座標模擬滑鼠點選HTML網頁
- 20240724【省選】模擬
- 20240621【省選】模擬
- Laravel——商品模組難點Laravel
- 實戰模擬│企業微信機器人實時報錯預警機器人
- 三維模擬模擬如何實現精益工廠佈局?
- JavaScript專題之模擬實現newJavaScript
- JavaScript專題之模擬實現bindJavaScript
- js中根據x,y 座標模擬點選事件JS事件
- 實戰模擬│單點登入 SSO 的實現
- 炸!業界難題,跨庫分頁的幾種常見方案
- 點晴模切ERP輕鬆解決模切現場的管理難題
- 如何解決企業銷售難題
- Windows10 VS2017 C++模擬點選按鍵WindowsC++
- 點晴模切ERP,是模切行業的優選方案行業
- 作業幫線上業務 Kubernetes Serverless 虛擬節點大規模應用實踐Server
- 模擬賽雜題
- 雲原生時代,CNStack 如何解決企業數字化轉型難題?
- CSS 如何模擬“真實的”進度條?CSS
- 『與善仁』Appium基礎 — 27、模擬手勢點選座標APP
- div等元素如何阻止點選穿透和實現點選穿透?穿透
- 5G+實時雲渲染,助力虛擬模擬實訓教學升級
- JavaScript專題之模擬實現call和applyJavaScriptAPP