民生銀行：入選國家級數字化轉型百佳案例！DataPipeline助力構建實時資料管理體系

來源/民生銀行總行科技大資料管理部

轉載/中國電子資訊產業發展研究院賽迪網

近日，由中國電子資訊產業發展研究院指導，賽迪傳媒、大資料產業生態聯盟主辦的2021（第六屆）中國大資料產業生態大會圓滿閉幕。會上重磅釋出了“《2021中國數字化轉型生態建設百佳案例》（以下簡稱《百佳案例》）”，「DataPipeline助力民生銀行構建實時資料管理體系」案例成功入榜。

《2021中國數字化轉型生態建設百佳案例》覆蓋數字政府、金融科技、智慧製造等多個行業，旨在甄選集結具有先進性、創新性和示範帶頭作用的企業數字化轉型發展和應用優秀案例，凝練數字化轉型的成功先進經驗，樹立行業典型。作為各地方政府深化數字化轉型重點行業應用的備選庫,此次選拔的《百佳案例》將呈報國家相關主管部門,為其提供決策參考依據,全力支撐地方政府數字化轉型工作的推進。

擁抱實時資料管理，是數字化創新升級的必然選擇

誕生於 1996 年的中國民生銀行，已經在 24 年的歷程中實現了規模與效益的迅猛發展。民生銀行實現高速增長，這與由上至下堅持數字化轉型策略密不可分。

民生銀行是國內第一批開展資料倉儲建設的商業銀行，從2013年開始又啟動了基於Hadoop平臺的資料應用體系建設。民生銀行具備較為成熟的批次資料處理能力，具體表現在架構清晰和分工明確的批次分析體系，針對批次資料處理場景的資料採集、計算、任務排程、儲存、下發、挖掘、資料服務各環節，已具備了成熟的技術方案和完善的規範。近年來，經營管理部門對大量的經營指標和客戶檢視等資訊的獲取、反欺詐和反洗錢等重點領域的決策分析，都對資料管理提出了從批次升級到實時、準實時的要求。為解決上述重難點問題，民生銀行大資料管理部於2017年啟動實時資料體系建設，以有效支撐監管、風控、營銷、經營分析等應用場景。

隨著資料應用的深入，行內業務部門不斷提出更綜合的實時資料加工需求，新需求的加工複雜度持續升高、使用場景持續擴充套件、交付效率持續加快、運營質量要求持續提升。為提升實時資料支撐能力，民生銀行開始從“平臺、資料、應用”三個方面進行實時資料體系建設。該體系需要融合IBM DB2、MySQL、Kafka、Redis、GaussDB、SequoiaDB、HDFS在內的多種資料基礎元件，實現對主要交易系統每日產生的數億條資料的整合。

構建靈活高效的實時資料平臺，最大化資料價值釋放

民生銀行採用資料分層模式進行實時資料處理，將實時資料分為源資料層、標準層、應用層三層。源資料經過清洗、轉換、格式化、維度補充等操作進入標準層Kafka佇列，實時任務消費標準層的資料進行指標計算或事件加工，寫入結果層對應的Kafka佇列，這樣就將核心業務邏輯與源端資料解耦，核心指標計算和決策分析邏輯的開發就可以使用民生技術體系中提供的低程式碼元件完成，這樣可以大幅度降低開發門檻，提升響應速度。

在實時資料預處理和應用層資料同步方面，民生銀行透過產品調研、可行性分析、POC驗證，選擇DataPipeline數見科技作為合作伙伴共同完成實時資料同步管道元件的實施，主要原因為：一是，目前金融行業進入了一個基礎設施快速迭代的時期，民生銀行也正在積極驗證引入各類開源和商業化基礎元件滿足資料方面需求，DataPipeline數見科技是一家專注於提供企業級異構資料融合解決方案的公司，能夠持續跟進行業內計算資源、作業系統、資料庫、中介軟體等方面的變化，持續對合作夥伴的需求進行支援；二是，DataPipeline企業級實時資料融合平臺的功能和效能，能夠很好地滿足民生銀行當前在實時資料預處理和同步方面需求，產品除了支援豐富的資料來源，在任務的資源控制、狀態監控、異常處理和恢復等方面設計合理，易於與行內已有資料管理和集中監控系統整合。以DataPipeline產品為基礎，相對基於開源元件自研的方案可以加速專案實施、降低成本。

民生銀行最終構建起資料全面準確、管理敏捷智慧、鏈路穩定高容錯的實時資料管理平臺。該平臺被抽象為“資料節點、資料鏈路、融合任務及系統資源”四個基本邏輯，無程式碼任務、業務導向構建，實時資料需求的研發交付時間從以天計到以分鐘計。同時，平臺具備限制配置與策略配置兩大類十餘種高階配置，可以輕鬆應對複雜的實時資料執行場景需求。其具有以下技術優勢：

• 多元異構

採用基於日誌的增量資料獲取技術（Log-based change data capture），為各類資料創新應用、資料中臺、主資料管理、資料倉儲、大資料平臺，提供實時、準確的資料變化。

• 批流一體

透過統一平臺同時管理異構資料節點實時同步與批次資料處理任務的定義，部署，執行、監控。提供統一的錯誤佇列管理、預警機制、日誌管理。

• 分散式計算

容器化叢集提供讀寫分離的資源組定義、管理、分配，可動態擴縮容，所有元件均支援高可用，可水平垂直動態擴充套件。

民生銀行儲存在多種資料庫中的異構資料被打通，海量的資料被匯聚、分發。近百個實時資料任務將客戶行為等實時資料進行標準化補全並分發到消費計算方，用於各類實時資料加工場景。同時，搭建基礎平臺的研發成本與運維成本大大降低，時間精力與優質資源可充分投入到資料價值釋放與商業價值實現上去。

當前及未來一段時期，資料都是銀行最為重要的資產之一，是支援精細化管理、實現差異化服務、加強業務創新、提升風險分析能力的基礎。為加快支撐業務數字化轉型，民生銀行將以業務目標為驅動，以資料應用效能為優先考慮因素，透過資料與技術驅動金融產品服務創新，為業務提供立體化的快速支援，直面客戶、賦能場景。