內蒙農信攜手星環科技建設農信大資料平臺，啟用金融業務創新

背景

內蒙古自治區農村信用社聯合社（簡稱“內蒙農信”）經過多年的資訊化建設，目前投產使用的資訊化系統近100套，產生了大量的資料。該社於2019年採用MPP架構的分散式資料庫，實現了40多套業務系統資料的歸集、標準化處理。近年來大資料技術與金融業務深度融合，釋放出金融創新活力和應用潛能。2021年該社啟動了大資料平臺專案，與星環科技合作，經過一年多的努力，在金融雲上部署了20個節點的大資料處理叢集。

在星環科技大資料基礎平臺TDH的賦能下，內蒙農信提升了多元異構資料整合能力，彌補了實時資料處理、外部資料處理能力的不足，加大了資料輔助決策的力度，同時，透過客戶畫像，增強了客戶識別、營銷、分析的能力，為業務發展提供了資料支撐。本次專案建設也在業內創新地開發了線上一體化資料全流程處理產品，讓資料處理不再是一個黑匣子，提高了資料使用的效率，為該社未來數字化轉型、金融資料變現奠定了堅實的技術底座。

案例概述

內蒙農信在大資料平臺的建設過程中，融入了網際網路的先進技術，同時也借鑑了同業的優秀 實踐。基於大資料處理技術，內蒙農信聯合星環科技構建了基於金融雲部署的大資料平臺，依託大資料平臺，建設了統一資料門戶，實現了信用社內外結構化、半結構化和非結構化資料的實時採集、實時計算、歸檔和標準化處理，滿足了下游系統資料需要以及實時查詢和計算的需求。

建立內蒙農信統一資料門戶，包含外部資料管理、資料服務、客戶標籤管理、資料訂閱與查詢、實時計算、資料模型管理、指標管理及統一登入與統一許可權管理功能共七個子系統，實現資料的釋出、訂閱和查詢、資料模型、指標庫和資料標籤的管理、展示與維護，明細資料的查詢與匯出，便於資料管理和維護。

解決難點

多元異構資料的整合處理，業務辦理人員獲取資料的及時性、有效性等一直是業內關注的焦點。內蒙農信透過建設大資料平臺，解決了行內外結構化、半結構化和非結構化資料的整合，同時實現了資料的實時採集和計算，為實際業務提供了強有力的資料支撐，提高業務的及時性和有效性。透過大資料平臺建設，夯實了內蒙農信資料核心平臺的技術底座，可以支援未來風險防控、精準營銷、實時資料大屏等應用場景，同時將核心業務系統、農信銀等業務系統的資料查詢壓力遷移至大資料平臺，為業務系統減負。

透過大資料平臺建設，內蒙農信完善了資料體系架構，加速資料資源的開發利用。專案構建了統一的資料門戶，實現了資料的一體化線上管理，包括資料釋出、訂閱和查詢，資料模型、指標庫和資料標籤的管理、展示與維護、歷史明細資料的查詢與匯出等。

如何依託大資料平臺，持續向外提供資料服務？資料服務功能實現對資料服務的統一定義與管理，實現資料服務的統一輸出，並實現應用系統使用資料服務介面的許可權的統一管理。專案完成的資料服務API介面可以實現三個方面的資料服務：內蒙農信目前執行的歷史資料查詢平臺的資料服務介面功能；對已接入外部資料的實時查詢服務；客戶標籤實時查詢服務。

創新亮點

資料全流程線上化

從資料採集、資料建模、資料開發到資料服務全部實現線上化。透過批次採集、日誌採集、實時採集等方式將資料採集到TDH大資料基礎平臺，根據資料模型管理功能模組制定的標準模型進行資料建模，線上開發實現資料的加工處理，介面資料服務和檔案資料服務為法人機構和下游系統提供資料支撐，資料訂閱和查詢提升了資料的使用效率。

實時服務的數字化響應能力

傳統的批次資料處理流程已無法滿足業務發展需要，大資料平臺引進網際網路實時資料處理的先進技術，構建了一套從資料採集、計算到提供服務的完整實時資料處理鏈路。透過實時計算平臺，監控客戶實時大額動賬交易，能夠讓網點客戶經理及時察覺客戶大額資金動向，有效挽留潛在客戶流失，同時，也可以提醒客戶避免遭受網路、電信詐騙等帶來的資金損失。

多樣化的資料服務能力支撐

大資料平臺提供多種資料服務支撐業務系統及法人機構的資料需求，包括以資料訂閱的方式支撐批次檔案下發，以API的方式支撐實時資料的查詢，API支援資料API、檔案API、註冊API以及聚合API等多種方式，滿足不同業務場景的使用需求。

基於微服務的資料產品

大資料平臺資料全流程實現線上化，採用多個資料產品，包括資料服務管理、資料模型管理、客戶標籤管理、資料訂閱與查詢、指標管理、外部資料管理、實時計算平臺等，所有的資料產品都是基於微服務進行設計和研發，實現容器化部署，完全基於國產化伺服器和作業系統部署。

應用落地

透過大資料平臺的建設，從資料的採集到給應用系統提供資料服務，整個資料處理鏈路實現了資料全流程視覺化管理，整個資料生命週期對於科技人員都是可見、可管理、可操作的。同時，透過血緣分析功能，每一項資料的加工過程都可以追溯。

按照業務發展需要，大資料平臺結合MPP架構資料庫和基於Hadoop框架的分散式大資料處理元件，整合了批次資料、實時資料、結構化和半/非結構化資料，透過外部資料管理平臺接入了業務所需的外部資料，完善了資料來源。建設統一資料門戶，實現了業務資料的全量要素集中與實時反饋。夯實了資料基礎底座，豐富了資料處理能力，提升了資料服務業務的效率。

基於大資料處理技術，構建了實時計算平臺，實現了實時資料採集、實時計算與實時反饋；資料訂閱與查詢，充分從資料使用者角度考慮，實現資料的自助化訂閱與查詢；資料介面服務，滿足不同資料介面使用場景，使資料的使用更加靈活高效；外部資料管理，統一的外部資料管理，為業務系統提供豐富的資料來源；資料模型管理，標準化的模型建設，為資料資產管理奠定了基礎；指標管理，對每個指標做到精細化管理，包括指標的歸屬者和血緣分析；客戶標籤管理，透過客戶標籤管理，為精準營銷提供有力的資料支撐。