悅數圖資料庫 | 圖技術在金融風控中的應用選型建議
在金融行業中,風控是業務中十分重要的一環。風控包含了非常多的業務型別,囊括了反、反詐騙、反洗錢、反作弊等等,而根據不同的業務型別,又可以細分為更多的業務場景,例如信貸反欺詐場景,在貸款申請、授信、支用等各個環節都會涉及到,對風控的具體要求也不一樣。
由於整體行業的風險趨勢,呈現黑產團體化、交易鏈條複雜化,圖資料庫成為越來越多企業進行風險防控的不二選擇,如何選擇一款相簿,也成為了眾多客戶的痛點。由於不同風控的業務型別並不一樣,本文嘗試從金融行業技術特點的角度剖析,如何選擇一款適合客戶的圖資料庫。
01 不二之選:圖技術在金融風控的原生優勢
首先是總體信貸風控的目標,並非完全消除風險,而是提升風控精準度和效率,平衡收益和風險。由於這個特性,決定了風控總體是個動態的過程,不斷的會上一些新的策略,比如在一段時間內,出現了一種新型別的風險,就需要將新的策略上到策略平臺,而過了這段視窗期,策略通常也不會直接下線,以防未來再出現風險。
如果要用圖資料庫來開發新的風控策略,就需要圖資料庫有較為強大的圖查詢語言以及 UDF 能力,能夠靈活的按照使用者的需求開發上線。例如在申請反欺詐場景,尋找進件和黑點在 X 度之內是否有關聯是一個典型的圖特徵,能夠對路徑上點型別、邊型別,度數,以及點邊上的閾值靈活做調整,就顯得尤為重要。
圖技術進行金融風控的原理
圍繞提升風控精準度和效率目標,一般會將風控的階段分為事前預警、事中決策、事後分析。
事前預警
一般是以預測、挖掘為主,對時效性沒有太大要求,可以是天級,有互動式分析需求。常見的應用場景是客戶的信貸評分,一般需要結合一些圖演算法和圖查詢的結果進行綜合評分。如何排程圖查詢、圖演算法以及利用圖視覺化做挖掘,將他們串聯成一個完整的流程反覆執行,並透過引數靈活的做調整,是這個階段比較關注的圖資料庫特性。
事中決策
一般會包含實時查詢、實時計算,要求豪秒級響應。例如在信貸支用階段的風控,當發現風險時,要及時切斷這筆支用,每一筆支用進來,可能會呼叫多達上百個圖特徵,當使用者的併發增多(例如 100),對相簿的 QPS 要求通常是上萬,乃至上 10 萬的,而總計的時間視窗也只會要求在幾百毫秒以內,否則會影響整體的使用者體感,引發業務問題。如果是在業務擴張期,碰上業務高峰,如何擴容也會成為一個至關重要的問題。高併發、低時延、高可用、線上擴容,是這個階段比較關注的圖資料庫特性。
事後分析
一般是以追溯為主,對時效性要求低,小時級或者天級,但是會有互動式分析需求。例如信貸場景中的欺詐團隊挖掘,或者某筆疑似欺詐交易的挖掘探索。當選擇某個點,或者某一批名單,能夠較為絲滑的在視覺化介面上不斷的做擴充,社群劃分,路徑查詢,甚至最後能夠發現一個新的風控策略並上線,對於風控人員來說十分重要。這個階段,對於圖資料庫在探索分析方面的功能尤為關注。
圖技術與傳統風控手段的區別?
單點 VS 全域性視角
關聯圖譜具有視覺化和連線萬物的天然優勢,可以突破「單點」判斷是否屬於欺詐行為的侷限性,取而代之的是從「全域性」角度更精準、更全面地判斷欺詐行為。
滯後 vs 實時風控
傳統的欺詐檢測依賴於專家經驗和人工稽核,往往是資損發生後才能發現並總結出規律。關聯圖譜天然適合超大規模關聯資料的深度查詢,可以實時作出反應,防患於未然。
人工 vs 自動化識別
圖資料庫可以透過關聯分析、圖規則、模式分析、社團分析,全面覆蓋實時、準實時及事後三個階段,系統全方位進行實時風險排查,及時暴露可疑點並自動進行管控,從源頭上避免經濟損失的發生。
同樣的場景,可以使用關係型資料庫嗎?
要發現大規模的欺詐團伙,往往需要遍歷複雜度很高的資料關係。傳統的關係型資料庫由於儲存形態的限制,在處理深度關聯查詢時效率並不高,有時甚至根本無法計算出結果,難以快速發現隱蔽欺詐行為。
而圖資料庫採用點-邊結構儲存資料以及資料間的關係,一圖彙總身份、賬戶、裝置和第三方平臺之間的資訊,非常適合用來處理海量複雜資料間的關聯運算。不僅效率更高,而且能獲得更直觀的全域性檢視,在資料儲存之外幫助業務人員快速發現欺詐團伙,避免潛在經濟損失。
02 選型清單:圖資料庫選型建議
除了業務在不同階段的訴求之外,整體產品的穩定、運維的便利性十分重要,尤其是對要上線的業務,是重中之重,畢竟一個告警就可能把運維同學折騰夠嗆。
總結一下,風控對圖資料庫提出了以下要求:
演算法能力:強大的圖查詢、圖演算法以及圖視覺化能力
易用性:統一的圖查詢語言和自定義能力(UDF)
穩定性:高併發、低時延、高可用
可解釋性:探索分析能力
03 擇優而取:悅數圖資料庫的過人之處
那麼,如何選擇一款合適的圖資料庫產品,來應對上面提到的這些問題呢?我們可以從以下這些方面做選型的思考——
資料量越來越大,圖資料庫如何應對大併發的衝擊
由於業務特性需要,金融企業需要對接監管、交易、管理、內控等多個系統,常常面臨著業務資料量暴發的挑戰。而悅數圖資料庫採用“真正的”原生分散式架構,資料入圖自動分片,可以滿足 10W 級併發下的毫秒級查詢時延。
以悅數的真實使用者案例——某個網際網路大廠為例,當時該產品月活使用者 10 億,有 100 多億的使用者關係,最大出入度 6000,龐大的資料量形成了一張使用者關聯大圖,使用者希望基於圖技術實現全平臺的個性化好友推薦/廣告推薦,利用悅數圖資料庫實時分析的能力,實時生成精準的個性化推薦內容,其資料更新要求大於 150 萬/秒,QPS 要求更是高達 80000,有效提高使用者的瀏覽體驗,最終實現了更高的流量轉化。
實時性要求越來越高,如何應對低時延的要求
隨著普惠金融會進一步擴充套件和渠道的多樣化發展,金融風控正逐漸從原來的「事後」總結向「事先」預防轉型。如何在不影響使用者體驗的情況下快速實現“無感”風控,同時能確保風控結果的準確性就成了金融機構亟待解決的問題,特別是金融網際網路業務的興起,留給一筆交易進行風控判斷的時間往往是毫秒級的,這就導致了業務對資料管理和分析的實時性要求也越來越高。
下面我們來看一個「悅數圖資料庫」合作過的真實使用者——由於業務處於高速發展階段,該全球性社交平臺的使用者數量正經歷迅速增長。使用者數超過 2000W,MAU(月活躍使用者)超過 1200 W。使用者量持續攀升,面臨幾個挑戰:
如何面向新註冊使用者做推薦,提升留存率
如何精準推薦節日營銷活動,提升使用者參與度
各類群組活動層出不窮,如何幫助不同使用者快速融入各類圈子,提升活躍度與客戶粘性
針對以上挑戰,悅數圖資料庫的專業工程師團隊結合該企業的實際業務情況打造了一套基於知識圖譜的實時推薦解決方案:
構建大規模圖譜:基於使用者、群組、活動實體、地理位置等實體,邀請、瀏覽、關注等關係構建使用者關聯圖譜,整個圖譜規模超過 50 億點,100 億邊
實時推薦:使用悅數圖資料庫提供的工具產品可以輕鬆實現實時匯入資料,確保低延遲、高併發下的讀寫效能。從活動、地理位置、內容、使用者行為、興趣等多個維度對使用者提供實時個性化推薦,實時提供個性化推薦理由,提升推薦成功率
實時搜尋:基於使用者實時輸入字元實時多度關聯關係推薦,真正實現了 「Search-as-you-type」
由於悅數圖資料庫採用了相較一般圖資料庫更先進的原生分散式架構,因此可以高效支援海量資料下實時性要求更高的場景,同時具備強大的可擴充套件性,能夠靈活支援業務資料彈性擴充套件需求。
透過悅數圖資料庫與該企業使用者的共同努力,最終這個系統對大規模使用者併發下支援萬級 QPS,100ms 級時延,可保持業務線上彈性擴縮容,有效應對業務峰值需求,確保在重大營銷活動中,有效加深使用者之間的關聯關係,提升使用者留存率(Retention)和月活躍使用者(MAU),各類營銷活動使用者參與度顯著提升,為公司帶來了更高的使用者活躍度和盈利潛力。
業務規模越來越大,如何保證業務線上的同時做到叢集的擴充套件
悅數圖資料庫採用 Shared-Nothing + 計算儲存分離,支援線上彈性擴縮容,輕鬆實現資源按需分配。強大的可擴充套件效能夠靈活支援業務資料擴充套件需求,為未來業務的持續增長奠定了良好基礎。
在悅數合作的眾多企業/機構使用者中,不乏有需要業務擴充套件的物件。以國內某研究所為例,從 2020 年開始使用,日新增資料超過 100G,2022 年底在持續對外提供業務的情況下將叢集從 9 節點擴容到 15 節點,期間從未停止線上服務,整體業務平穩過渡。
另外,更多企業在意的擴縮容效能問題也並未出現。悅數圖資料庫充分使用各個節點資源,能夠做到線性擴容,確保效能不受叢集擴容影響。以下圖為例,悅數圖資料庫在叢集擴容後,能夠自動進行資料均衡,確保效能線性增長。
實時線上任務和離線分析任務都有,怎麼進行資源隔離
悅數圖資料庫採用“兩套引擎,一套儲存”的方式,同時支援實時業務和離線分析業務。
以上圖為例,當線上叢集處理高併發寫入和高併發查詢業務時,離線叢集處理非同步圖計算等複雜計算業務,結果寫回線上叢集。離線叢集支撐全圖計算和圖學習。整個過程中儲存和計算分離部署,按需配置,有效隔離 AP 和 TP 的相互影響。
國產信創環境下,資料安全性有保障
金融行業肩負著國家的經濟大動脈,資料安全是第一位的。悅數圖資料庫作為一款國產自研,擁有自主智慧財產權的高效能圖資料庫產品,擁有華為鯤鵬、尤拉 OS 認證以及飛騰、龍芯、麒麟 OS 等多個晶片/伺服器/作業系統的國產化支援,同時也透過了 ISO27001、ISO9001、CMMI3 認證,中國信通院 圖資料庫/圖計算基礎和能力專項評測,擁有多項核心專利及認證。
此外,悅數圖資料庫還支援 SSL CA 簽名&自簽名證書模式,提供多種加密策略,平衡效能要求與資料安全要求,支援細粒度控制審計日誌, 可以對不同使用者,不同的操作均可審計與追溯;支援身份驗證以及細粒度的角色許可權管理,能夠應對複雜的業務場景,讓資料安全更有保障。
高效挖掘探索圖資料,提升分析效率
互動式圖探索:點選互動,擴充、收縮,多種佈局挖掘圖資料深層次價值, 支援2D/3D 大規模資料視覺化,鳥瞰模式可以宏觀視角觀測圖拓撲結構。
視覺化圖匹配:拖拽生成圖查詢語句,所想即所得。
工作流圖分析:透過工作流方式靈活排程多種圖的計算模式,圖查詢、子圖計算、全圖計算無縫銜接。
視覺化運維,降低整體運維成本
豐富的監控呈現:叢集內機器、服務各項指標的指標呈現、視覺化大屏展示。
靈活的告警定製:可以靈活定義指標以及告警規則、告警頻率、通知方式等,及時且有效的捕獲異常。
一鍵式運維操作:一鍵式機器/服務啟停、升級、擴縮容、備份還原、Data Balance 等,避免忙中出錯。
輔助分析診斷:提供叢集診斷、慢查詢分析、審計日誌等手段,協助DBA/SRE進行問題的定界定位。
綜上,悅數圖資料庫能充分滿足金融風控場景下對圖資料庫的多種應用要求,其特性包括——
強大的圖查詢語言以及 UDF 能力
nGQL 是悅數圖資料庫使用的的宣告式圖查詢語言,支援靈活高效的圖模式,易於學習,相容當前主流的 opencypher 語法。同時支援使用者自定義函式,可編寫複雜的風控業務策略;同時,悅數圖資料庫在未來也會相容全球的 ISO-GQL 標準。
高效排程圖查詢、圖演算法以及利用圖視覺化做挖掘 & 探索分析
悅數圖探索是一款可以透過 Web 訪問的視覺化圖探索工具,搭配悅數圖資料庫核心使用,用於與圖資料進行視覺化互動。即使沒有圖資料操作經驗,使用者也可以快速成為圖專家。
高併發、低時延、高可用、線上擴容
悅數圖資料庫可以滿足 10W 級併發下的毫秒級查詢時延;支援單機房高可用和兩地多中心災備部署,業務高峰期依然可以線上擴容
整體產品的穩定、運維的便利性
悅數運維監控是一款用於監控和管理 悅數圖資料庫 多叢集中機器和服務狀態的視覺化工具,可服務於 DBA 和運維人員進行日常多叢集機器和服務的運維 & 監控管理工具,支援自動部署服務、啟停節點和服務、日常指標監控、水位告警等。
04 實戰巡禮:金融風控中圖技術的應用
場景1: 反欺詐
傳統的反欺詐手段有個很重要的問題就是資訊不對稱,金融機構很難快速去驗證信貸客戶資訊哪些是真實的,哪些是經過包裝的,這就導致很多風控措施都相當滯後——往往採取措施時資金損失已經發生。
使用圖資料庫可以打通多系統、多維度、多型別的資料,融合成全行業務的整體檢視。透過申請註冊 IP、裝置號、手機號、地理經緯度等多個維度實時分析欺詐行為,結合圖演算法及時發現隱蔽的團體作弊行為,及時阻止欺詐交易並封禁賬號,提升申請/交易欺詐識別率,避免可能出現的經濟損失。
場景2:反洗錢
傳統的反洗錢模型通常只能關注一度的交易行為,難以進行有效排序和過濾。如果使用人工稽核案件,則難以進行深度、有效的探索分析,特徵也不具備可解釋性,因此難以對團伙作案進行高效管控。
使用圖資料庫可以有效補充黑產賬戶的隱藏連結、多賬號共同資訊等圖特徵,透過機器學習輔助提升識別準確率,減少誤報。基於圖視覺化快速進行多層探索分析,特徵可解釋性強。另外,圖資料庫上還支援 K-core、Louvain 等多種圖演算法,可以提升欺詐團伙識別效率。
場景3:擔保圈識別
金融擔保業務中經常存在交叉擔保的現象,但由於擔保群體的複雜性和擅於鑽規則漏洞的隱蔽性,現有技術對於三個或三個以上的客戶形成的環狀擔保基本無法解決,尤其缺乏深層次和動態的分析監測,擔保規模越大、複雜性越高,越難以進行深層次分析。
基於圖的深度查詢正適合高效識別擔保圈/擔保鏈,同時基於多種圖視覺化手段,金融機構可以快速進行多層的深度探索分析,及時發現並識別核心風險擔保圈,對即將發出的信貸申請進行預警,減少人工稽核失誤,提升風控效率。
場景4:企業圖譜
金融機構在處理業務申請或交割事宜中經常需要分析企業的生產經營狀況,而全域性檢視的缺失非常容易導致資訊掌握不全面。另外依靠人力很難及時發現不同企業間相互傳導的潛在風險因素,這些都會導致金融借貸、放款稽核時的錯判漏判。
使用圖資料庫可以透過持股關係及圖演算法,可以有效識別隱形集團或發現異常成團情況。基於多層關係穿透查詢,也能迅速發現實際控制人和控制路徑,並透過實時計算某信用風險引起的關聯客群風險快速識別傳導路徑,讓企業實控人關係、股權/轉讓關係、風險傳導等關係等一目瞭然。
場景5:交易圖譜
在涉賭涉詐、貸後資金流向等場景中,金融機構流出的資金往往涉及多層次的轉賬關係。這個過程中可能會涉及多種平臺機構、空殼企業以及歷史流水的轉入轉出操作,交易賬戶、交易主體和行為都非常複雜,使用傳統手段難以及時發現其中隱藏的作弊行為。
透過圖資料庫可以地還原真實的交易場景,這是以往在核查單觀察,或者在系統上一步一步點選流水不容易觀察到的。分析人員結合賬戶特徵,就可以在圖譜上觀察有沒有分散的轉出和轉入,或者交易對手成批地更換。結合這些特徵和行為,就可以分析賬戶在整張交易網路中的作用,快速精準地鎖定資金最後的流向、受益人是誰。
05 共赴未來:引領金融風控新紀元
如今,金融欺詐及作弊行為比以往任何時候都要更加普遍、出人意料且速度更快,響應行動應分秒必爭。選擇一款好的圖資料庫產品不僅可以賦予上層應用更多的敏捷性,而且能在底層提供更安全穩定、易擴充套件的生產環境,大幅度減輕後續運維的壓力。目前廣受歡迎的「悅數圖資料庫」就採用了 Shared-nothing 和存算分離的架構,在波峰波谷可以分別做計算和儲存層橫向擴充,其次悅數圖資料庫本身也是一款雲原生分散式的圖資料庫產品,因此能夠很好去應對彈性方面的需求。
另一方面,好的應用表現離不開本土化團隊的支援,尤其在關鍵生產業務當中。作為國產自主研發的分散式圖資料庫代表,悅數圖資料庫擁有經驗豐富的研發和實施交付團隊。除了提供企業級服務之外,悅數圖資料庫也提供了一系列視覺化的探索和管理工具,讓業務人員更好去做資料的分析探索,資料更直觀且具有可解釋性。
目前,興業銀行、長沙銀行、微眾銀行等眾多銀行已採用悅數圖資料庫作為相關風控系統的核心元件之一。同時,悅數圖資料庫也得到了某省公安廳、某科學院、國家某局的採用。海量使用者驗證了悅數圖資料庫具備優異的企業級效能,能夠適應各種場景對圖的要求。歡迎您搜尋「悅數圖資料庫」瞭解使用者案例或者直接點選申請免費試用直觀感受圖技術的應用場景和悅數的產品能力。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/70029948/viewspace-2999789/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 圖資料庫在中國移動金融風控的落地應用資料庫
- 圖演算法、圖資料庫在風控場景的應用演算法資料庫
- 風控沙龍 | 圖分析方法在業務風控中的應用
- 圖分析方法在業務風控中的應用
- 大型Electron應用本地資料庫技術選型資料庫
- 滴滴大資料在汽車金融風控場景中的應用大資料
- 按圖索驥,談談資料庫技術選型資料庫
- LLVM技術在GaussDB等資料庫中的應用LVM資料庫
- 淺析分散式資料庫的技術框架及其在金融行業中的應用規劃分散式資料庫框架行業
- NLPIR技術運用知識圖譜技術應用於智慧金融
- Java技術在多資料庫系統中的應用研究Java資料庫
- 圖資料庫在主機安全的應用探索資料庫
- 大資料分析技術在新型智慧能源建設中的應用大資料
- 圖資料庫 Nebula Graph 在 Boss 直聘的應用資料庫
- AI技術在基於風險測試模式轉型中的應用AI模式
- 不建議開發來做資料庫選型資料庫
- 紡織供應鏈中的金融大資料風控體系大資料
- 探秘資料庫中的平行計算技術應用資料庫
- 圖資料庫漸成技術新風口,星環科技自研圖資料庫領跑新賽道資料庫
- 資料分析在金融行業中的應用行業
- 國內圖計算標準釋出 悅數圖資料庫透過測試資料庫
- FMEA技術在IT專案風險管理中的應用
- 圖書《資料資產管理核心技術與應用》分享
- 大資料技術於應用 視覺化圖表的開發應用大資料視覺化
- 五礦期貨:NebulaGraph 圖資料庫在金融期貨行業的應用與實踐探索資料庫行業
- 圖資料庫選型:問題、方法與工具資料庫
- 解讀圖資料庫技術路線資料庫
- 圖資料庫及應用場景資料庫
- 構建實時資料整合平臺時,在技術選型上的考量點
- 區塊鏈技術在金融領域的應用區塊鏈
- 大資料技術在電商的應用大資料
- 使用Java和Neo4j構建圖資料庫應用Java資料庫
- 多點觸控技術在數字展廳設計中的應用價值
- 圖資料庫選型:Neo4j、JanusGraph、HugeGraph資料庫
- 應用監控的選型思考
- 網際網路金融風控中的資料科學資料科學
- 開源軟體在地圖資料處理中的應用地圖
- 圖資料 3D 視覺化在 Explorer 中的應用3D視覺化