網易雙11“超級工程”:反欺詐系統應用實踐
每年雙十一,不僅是剁手族的狂歡節,更是各大電商技術團隊技術水平與技術創新實踐檢驗的舞臺,不斷創新高的銷售額、交易峰值、支付峰值,這些驚人數字的背後都離不開強力的技術支撐。IT168希望透過技術報導的形式向讀者揭秘各大電商平臺在雙十一這一“超級工程”背後的鉅額投入與技術創新,讓更多人瞭解技術,尊重技術,促進同行業之間的技術交流分享,推動提高行業整體技術水平。
作者:趙紅程
簡介:網易高階產品運營,上海理工大學外語學院碩士,加入網易後一直從事反作弊研究工作,先後參與網易考拉、嚴選、新聞端客戶端的反作弊專案。
本文摘要
2016年11月11日,網易考拉海購11.11“超級洋貨節”集聚了70多個國家、3, 000多個品牌的20,000多件商品,銷售額更是翻了幾倍。經歷了一年的技術打磨,今年的雙11“超級工程”,網易又將以什麼樣的方式繼續前行呢?
在雙11這樣的購物狂歡節中,消費者不僅關心商品的質量、送貨速度,更關心各大電商平臺的優惠力度,這也給了“羊毛黨”們可乘之機。面對所有電商平臺都極其頭疼的“反欺詐系統”構建問題,網易又有什麼好的解決方案呢?作為電商平臺,如何應對“羊毛黨”的欺詐行為?如何設立反欺詐規則以提高作弊成本?反欺詐系統如何架構才能達到理想防禦效果?
正文
每當臨近雙11購物狂歡節,大部分使用者一早便摩拳擦掌等在電腦前,不斷重新整理頁面準備搶幾張優惠券,並相信收藏的商品志在必得。但即便你準點重新整理,優惠券還是瞬間消失,心愛的商品庫存秒變為0,這是為什麼呢?
這樣的場景想必經歷過電商狂歡日的使用者都曾體驗過。你不知道的是,同樣坐在電腦前與你拼手速的除了正常使用者,還有一批專業的羊毛黨,作為搶奪使用者福利的直接競爭對手,我們有必要認識一下這些“熟悉的陌生人”。
一、反欺詐系統構建之瞭解“羊毛黨”作案流程及工具
1、作案團伙:從“貪便宜民間組織”到“職業地下灰產”
如果有興趣在社交平臺以“羊毛”為關鍵字搜尋一下,你就會發現各種薅羊毛線上組織規模大小不一,清晰可見。
在網際網路形形色色的營銷活動中,企業為了拉新、促銷、宣傳等商業目標,會有各種面向消費者的抽獎、拉新送福利、送優惠券、折扣券等活動。除了正常領取這些優惠的普通消費者之外,還有一群專業的薅(hāo)羊毛組織專門選擇網際網路公司的優惠營銷活動,透過新使用者註冊、刷單、搶券、低價買進高價賣出等,以低成本甚至零成本換取高額獎勵。我們稱這樣的人為“羊毛黨”。
羊毛黨早已不再是“貪便宜民間組織”這麼簡單,而是已經形成了利潤豐厚、組織嚴密、組織化程度極高的灰產組織,粗略估計全國有數十萬團伙。上至網際網路巨頭,下到普通公司,只要舉辦市場活動,都可能面臨羊毛黨的巨大威脅。
那麼,羊毛黨究竟在薅誰的羊毛?
2、作案目標:主攻電商、O2O、互金、社交
最活躍的營銷活動平臺就是羊毛黨的主要作案目標,包括O2O平臺、電商平臺、社交平臺、網際網路金融平臺。
一些網貸平臺為拉取新使用者常推出一些收益豐厚的活動,如註冊認證獎勵、充值返現、投標返利等,催生了以此為生的P2P羊毛黨。在P2P平臺,一個促銷從幾十到上百元不等,“羊毛黨”每個月可以賺幾萬到幾十萬,可以說收入“非常可觀”。
在今年的共享單車大戰中,國內某知名共享單車曾推出“騎行領紅包”活動,同樣遭遇了羊毛黨偽造使用地址刷單搶紅包的情況。羊毛黨利用定位修改軟體和批次手機號軟體,足不出戶就可以做到騎行單車並領取其派發的紅包。據估算,平均每人每次能刷5元左右紅包,一天16次大約收入80元,多個賬號批次操作可以日進數萬元。
3、作案危害:擼垮上市公司不是危言聳聽
除了對正常使用者的福利損害,羊毛黨更多的危害還是對企業利益的無形吞噬。羊毛黨分分鐘擼垮一個上市公司也不是沒有發生過。
僅以近兩年大火的影片直播為例。據媒體調查,2016年8月,某上市公司旗下的全資子公司力推直播軟體,只要註冊並每天直播10分鐘,前三天均可獲得30元獎勵,以後每天可獲得10元,第二天即可提現。用單個賬號主播,其餘小號刷禮物,一天收入上萬元也是可能的。
2016年底,根據統計機構數字表明,該直播軟體的活躍使用者數與其投入的16億資金極其不成比例(淨虧損約10億元),僅主播分成就達到近14億,而被殭屍軍團擼走的利潤就不可估計了。羊毛黨分分鐘擼垮一個上市公司不是說笑,因羊毛黨導致平臺破產的案例不在少數。
同樣,羊毛黨們對每年一度的雙11備戰一點不比電商平臺鬆懈,作為專業“薅羊毛”地下團隊,沒有人比他們對平臺、商家的促銷和優惠資訊更加敏銳。
4、作案工具:日進斗金背後的專業配備
羊毛黨們可不是素人素身,想日進斗金也需要專業作案工具。我們從作弊者的角度來看看有哪些東西可以利用來作弊:
1.1.帳號
不少商家提供帳號售賣服務,大量批發還會更便宜(微博、微信、各種郵箱帳號等)。直接購買就可以使用(提供帳號密碼),省去註冊流程。
1.2.IP
售賣代理IP的商家也不在少數,價格低廉甚至還提供包月服務。當然自己寫爬蟲收集代理IP也可以,如果掌握了一些肉雞就更方便。用不同的IP登入不同的帳號是隱藏行蹤的好方法,通常很多產品都會對IP做高頻限制(同IP下參與使用者數過多)。
1.3.打碼平臺
圖片驗證碼和簡訊驗證碼都有專業的打碼平臺。對於簡單的驗證碼,用機器識別即可(成功率相當高),對於複雜度較高的驗證碼,打碼平臺支援人工打碼7*24小時服務。
對於簡訊驗證碼,打碼平臺使用自身或購買的卡商資源,提供相應的api或者工具包,方便作弊工具自動獲取手機號和驗證碼,作弊工具可使用各種未經實名認證的手機號碼在各電商平臺註冊。打碼平臺的上游卡商實際掌握了大量手機卡,他們利用貓池等裝置實現多手機號自動接收和解析簡訊驗證碼,並將手機號和簡訊驗證碼提供給打碼平臺,最終作弊工具可透過打碼平臺全自動獲取手機號和簡訊。
1.4.模擬器
模擬器通常是指安卓模擬器,安卓模擬器非常強大且種類繁多,基本可以模擬一個真實手機的全部功能,比如BlueStacks,GPS,MAC地址等資訊都可模擬。
1.5.專業定製工具
駭客技術人員編寫有針對性的工具和程式,結合模擬器以及上面提到的各種黑灰產資源,可以做出一整套自動化作弊工具。比如現在很多帳號序號產生器,就支援更換IP、更換手機號碼、對接打碼平臺等功能。據說有這樣技術的高階駭客上游,一個可以支撐數十個下游的黑產團隊。
具體一個活動中的作弊使用者可能有很多,不同團隊的作弊水平有高有低。基本可以按作弊手段裡結合黑產資源的多少也就是作弊成本高低來區分。對於低水平作弊使用者,用簡單的規則和手段封堵某些點就可以。但是對於高明的作弊手段,就很難用片面的策略來發現了。那麼在做防禦方案時,就需要用系統化的方案全面應對。
二、面對雙11購物狂歡節,電商網站反欺詐系統應該如何構建?
作為全民購物狂歡節,雙11自然是各大電商網站受到攻擊最為頻繁的時候。那麼在雙11全民消費狂歡日的當前,電商平臺應該如何應對羊毛黨大軍?
抓住羊毛黨的關鍵在於如何將他們與正常使用者的行為區分開來。在長期為網易產品提供反作弊服務的過程中,網易雲安全(易盾)團隊積累了豐富的戰鬥經驗,目前已有一套較成熟的電商反作弊體系。
1、電商反作弊體系架構基本原則
既然很多作弊都是程式自動化完成的,那麼人機識別是值得嘗試的一種預防方法。由於作弊手段多樣,所以防禦措施也沒有一勞永逸的,但是可以遵循的一個基本防禦原則——提升作弊成本:
驗證碼:圖形驗證碼是最簡單粗暴的人機識別手段,一旦有了驗證碼,羊毛黨薅羊毛就需增加圖片OCR技術,這在無形中提升了作弊成本。但以目前的OCR技術水平而言,圖形驗證碼早已形同虛設。為此,網易雲安全(易盾)研發了各種新型驗證碼,如拖條、拼圖、文字點選等智慧驗證碼,在人機識別和使用者體驗上都得到了廣泛認可。
手機簡訊驗證:雖然有打碼平臺的存在,但接入也需要成本,並且是按手機號碼個數計費,成本不低。
IP規則:IP也是有限的資源,雖然有很多代理售賣,但也需要成本。IP高頻限制,可以作為最基本的防禦措施。
裝置ID/瀏覽器指紋:利用裝置特徵生成唯一穩定的裝置ID和瀏覽器指紋,並基於此做高頻限制和統計分析,是非常有效的反作弊手段之一。但如何獲取到真實的裝置資訊(不是篡改之後的),以及確保裝置資訊在傳輸過程中不被篡改和偽造則需要安全、專業的技術方案,並且還需要長期的安全對抗和技術積累。網易雲安全(易盾)依託多年的反作弊經驗,推出了專業的、安全可靠的裝置ID和瀏覽器指紋演算法,並將其使用於企業客戶的反作弊服務中。
網易雲安全(易盾)依靠多年大資料、雲端計算、人工智慧技術力量已形成有效的反作弊防禦機制,並多次護航各應用在複雜場景下的大型隱患對抗,在電商、直播、遊戲等行業積累了豐富的對抗經驗,保障企業大型營銷活動有效平穩進行,保護消費者和企業利益不受黑灰產侵害。
2、網易雲安全(易盾)反作弊例項解析
筆者僅以網易考拉海購(下文簡稱“考拉”)的訂單環節反作弊檢測為例項,簡析在電商狂歡日背後,網易雲安全(易盾)是如何有效識別羊毛黨、保障大促平穩進行的。
目前考拉的反作弊系統對於風險訂單的識別主要基於規則引擎,同時結合使用者畫像評分、關聯網路模型和業務名單庫等檢測手段。
規則引擎根據規則條件實時抓取有作弊特徵的訂單,然而不是所有滿足規則條件的訂單都存在問題,如何將其中的正常使用者訂單剔除呢?這時就需要使用使用者畫像評分模型、關聯網路模型和業務名單庫來提高結果的準確性。
2.1、規則引擎
規則引擎支援對規則的動態配置和實時統計,系統可以按照不同的時間視窗,線上統計各訂單所符合的規則特徵情況,並實時返回結果。規則系統可以輸出的結果有兩種:
a、訂單資料經過所有規則檢測,將各命中規則的分數累加,計算出總分數輸出;
b、取命中規則中等級最高的結果。
2.2、使用者畫像
此處的使用者畫像主要指在囤貨行為上的使用者畫像評分,區別於普通平臺對使用者的綜合信用評分。我們選取了幾個維度,如使用者購買的商品類目數、活躍度、毛利貢獻數、歷史惡意行為、常用裝置等,利用統計方法得出使用者綜合分數,再給分值區間定級,最後得到所有使用者在囤貨行為上的畫像評分,該模組的加入可以很大程度地提高反作弊系統的準確性。
2.3、關聯網路模型
結合無監督學習+有監督學習方法來發掘羊毛黨團夥作案的網路模型。首先,考察使用者在一段時間內所有訂單相關資料的關係鏈,這些關係鏈將構成一個總網路;然後,搜尋網路中的所有子網路,進行連通圖分割;其次,遍歷每個子網路,獲取網路標籤,挖掘網路特徵;最後,透過機器學習構建識別羊毛黨的網路模型,圖2就是一個典型的關聯網路圖。
網路模型判定結果可以與規則條件結合,在不同業務場景下靈活選擇最匹配的風險判定結果,最大程度滿足各業務場景的反作弊需求。
2.4、名單庫
反作弊系統名單庫細分的型別個數,取決於各業務場景的需要。比如,今年大火的拼團促銷形式,活動對於團長和團員的購買限制是不同的,這就導致團長囤貨和團員囤貨在訂單行為模式上的表現不同。若要定製拼團活動的黑名單,那就應該對兩者做區分,以確保業務黑名單準確無誤。
除了黑白名單還有灰名單,這些灰名單使用者也許在某些大利益點活動時無法參與,將風險攔截在前端,以保障重大活動平穩順利進行。
網易雲安全(易盾)反作弊系統依託其規則引擎,結合使用者畫像,關聯網路模型以及各業務名單庫,可以精準高效地識別羊毛黨囤貨行為。這套體系將保障普通消費者在每次促銷活動中公平、有序地享受平臺提供的優惠,盡情買買買。
反作弊系統的對抗過程,本質是作弊和防禦成本的較量。在這場曠日持久的戰爭中,企業只有不斷抬高作弊成本,羊毛黨才可能望而卻步。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31077337/viewspace-2153999/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 基於Flink的超大規模線上實時反欺詐系統的建設與實踐
- 程式碼回現 | 如何實現交易反欺詐?
- 信貸風控全流程-反欺詐
- 零壹智庫&猛獁:中國金融反欺詐技術應用報告
- 金融反欺詐-交易基礎介紹
- 基於Vue2和Node.js的反欺詐系統設計與實現VueNode.js
- 蘇寧雙11超級工程排頭兵—會員系統架構演進架構
- 分析|無感驗證:應用適老化與業務反欺詐的“守門員”
- 機器學習在實時性欺詐檢測中的應用案例機器學習
- Hadoop應用的架構:欺詐檢測Hadoop架構
- 經典圖模型欺詐檢測系統BotGraph模型OTG
- T+1 到秒級實時性提升,Apache Doris 在中國郵政儲蓄銀行金融反欺詐領域的應用探索Apache
- 金融風控反欺詐之圖演算法演算法
- 反欺詐中所用到的機器學習模型有哪些?機器學習模型
- 騰訊安全聯合釋出《2020中國移動廣告反欺詐白皮書》,深度揭秘三大反欺詐主流模式模式
- 網易雲信 QUIC 應用優化實踐UI優化
- 申通快遞 雙11 雲原生應用實踐
- 反欺詐(羊毛盾)API 實現使用者行為分析的思路分析API
- Zoho推出《中國ToB超級應用探索與實踐白皮書》
- 面部識別必看!5篇頂級論文了解如何實現人臉反欺詐、跨姿勢識別
- 用深度學習進行欺詐檢測深度學習
- 《大學生金融反欺詐調研報告》釋出!新浪數科助力“無詐校園”
- 金融欺詐資料分析
- 個性化推薦系統實踐應用
- 噹噹網雙11"超級工程":運維人雙十一怎麼過?運維
- 京東雙11超級工程:AI成為交易平臺備戰主力AI
- DataFun Talk演算法架構系列活動——智慧時代:風控及反欺詐體系搭建演算法架構
- 谷歌:2022年Google Play阻止超20億美元欺詐和濫用交易谷歌Go
- 杜絕採購欺詐:利用SRM系統監控採購計劃
- 揭秘Stripe欺詐檢測系統背後的機器學習演算法 - quastor機器學習演算法AST
- Anura:Google Play廣告欺詐應用每年非法廣告收入高達65億美元Go
- SSECMM在某通訊網路管理系統安全工程中的應用與實踐
- 產業安全專家談 | 數字化轉型過程中,企業如何建立頂級反欺詐能力?產業
- 美團深度學習系統的工程實踐深度學習
- 揭祕Stripe欺詐檢測系統背後的機器學習演算法 - quastor機器學習演算法AST
- 觀遠AI實戰 | 機器學習系統的工程實踐AI機器學習
- 直播回顧|關聯網路如何反團伙欺詐——標準答案版
- 騰訊安全釋出《2021年移動廣告反欺詐白皮書》:2021年廣告主因欺詐致損高達220億