如何構建智慧監控預警管理平臺?

danny_2018發表於2023-01-18

與傳統金融機構相比,網際網路金融打破地域限制帶來便利的同時,也使維權成本變高。

由於互聯 網金融的所有交易透過非面對面的方式進行,從開立賬戶、條款說明到簽署合同都是透過電子資料得以記錄。但這些電子資料容易被篡改和滅失,消費者往往存在舉證困難的可能性。

基於上述問題和挑戰,我們需要一個全鏈路、智慧化、可擴充套件的數字化經營體系,它面向的不僅是分析師,還有不同事業部不同職能的員工,他們看資料的顆粒度都不一樣。比如,數倉管理人員是按周或按日維度,一線運營同學可能是小時級甚至分鐘級,風控同學則要求資料的實時性,產品同學可能需要過去三五年的歷史資料,去研發一套新的保險產品。

面對不同的資料需求,分析的粒度也各不相同,那麼怎樣更加高效地完成分析,而不是做重複的工作。那就需要資料平臺的細粒度、強實時性、高效能。

現在,無論實時資料倉儲還是歷史資料倉儲,資料的維數越來越高,使用者分析需求也越來越複雜,我們應該如何對高維實時資料和高維歷史資料進行建模、儲存和分析?如果維數很高,比如銀行賬戶,維數達到100或者上千個,我們怎麼靈活地建模?同時考慮分析的效率?

顯然,實時數倉無疑是最佳選擇,銀行最重要的是當天的流水。所以更多的需求都應該是銀行的流水資料產生的。實時的資料量很少。只有當天或幾天的資料(儲存幾天的資料可以增加容錯的機制),所以實時數倉關注的應該是指標,而非各種各樣的資料。模型也應該是輕量級的,而非傳統的數倉是非常沉重而沉澱的資料。

具體而言,我們可以得分幾步來做:

1.資料全部收集到一個資料平臺。不管是實時的還是歷史的。

2.做好資料庫的清洗和基礎關聯,和寬表的建立。

3.根據對資料的實時性要求進行分級處理。

4.成立每個業務分析團隊在款表上做分析。

5.分析的資料再返回寬表,並形成資料模型,供以後或其他業務線使用。譬如標籤體系,使用者體系。

總結而言,針對金融行業或者交易類業務的獨特性,需要有商業化的反作弊監管,根據實時短時間之內的行為,判定使用者是否為作弊使用者,做到及時止損。

金融類場景對時效性要求極高,透過對異常資料檢測,可以實時發現異常情況而做出一個止損的行為。收集指標或者日誌等統計各個系統的指標,對指標進行實時的觀察和監控等等需求場景,都是可以透過實時計算 Flink 產品解決的。

來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31547898/viewspace-2932634/,如需轉載,請註明出處,否則將追究法律責任。

相關文章