DataPipeline助力城市商業銀行加快數字化轉型

2021年12月7日，Gartner最新研究揭示，基礎設施和運營（I&O）領導人在未來12至18個月必須開始為六大趨勢做好準備。其中，無論是 準時化基礎設施（Just-In-Time Infrastructure）、還是資料增生（Data Proliferation）、業務敏銳度（Business Acumen），都預示著企業需要擁有更具適應性和彈性、更實時的資料管理基礎設施能力，從而支撐迅速作出更符合業務需求的決策和行動。

顯然，山東城商行聯盟已經為該趨勢做好了充足準備。

近日， 山東城商行聯盟和DataPipeline數見科技共同宣佈，山東城商行聯盟為59家銀行構建的資料庫準實時資料採集系統正式投入使用，該系統基於DataPipeline企業級實時資料平臺打造。 該專案的實施對於推動城市商業銀行實現企業數字化轉型、資料規範化和集約化管理、賦能企業經營及增強其持久核心競爭力具有重要意義。

業務需求當先，擁抱實時資料管理

山東省城市商業銀行合作聯盟有限公司經原中國銀監會批准成立，是目前全國唯一持有金融牌照的中小銀行金融科技服務公司。 公司為數十家成員行提供集核心業務系統、網際網路金融系統、外聯業務平臺、大資料服務及運營、風控支援等全方位的資訊科技解決方案以及培訓、諮詢、合作創新等多元服務，引領成員行通過科技創新推動業務發展和轉型升級， 是山東省大資料重點骨幹企業。 公司致力於打造賦能中小銀行、開放共享的金融科技生態平臺。

在雲端計算、大資料、人工智慧快速發展背景下，金融行業適應客戶需要的多樣化和個性化場景不斷湧現。 經過10多年的電子化發展、資訊化建設，山東城商行聯盟積累了海量的資料，如何利用好這些資料成為了聯盟應對新形勢挑戰、謀求轉型發展的重要課題。 相對於大型商業銀行，降低運營成本、提升客戶體驗、提高營銷能力等轉型工作對於以山東城商行聯盟為代表的的城市商業銀行在科技創新發展上更為關鍵。

隨著資料應用的深入，成員行業務部門不斷提出更復雜的實時資料加工需求，新需求的加工複雜度持續升高、使用場景持續擴充套件、交付效率持續加快、運營質量要求持續提升。 為提升實時資料支撐能力，山東城商行聯盟開始啟動實時資料體系建設。 該體系需要實現綜合業務系統CBUS、外聯業務處理平臺XBUS、ESB服務匯流排、電子銀行等系統的資料實時採集、同步、分發。 如何 打通Oracle、IBM DB2、MySQL、Kafka等多種資料管理技術，實現每日產生的數億條資料的整合，成為聯盟亟待解決的問題。

打造金融級平臺2.0，多場景落地

 

企 業級資料庫準實時資料採集系統架構圖

山東城商行聯盟在過往服務成員行過程中，業務端在取數時，首先需要將各資料來源通過CDC模式將資料實時同步至中間庫；其次，源端資料同步至中間庫後，通過CDC實時下發至各個下游用數方。在該過程中，由於上游發版頻繁，中間庫的資料結構均需要相應變動，資料同步過程中系統維護工作量較大地影響了資料應用方的取數時效性。為了能夠更好地服務聯盟成員行，山東城商行聯盟需要重新構建統一的資料庫準實時資料採集系統，實現通過資料流平臺近實時地向各外圍系統供數的目的，進而及時高效地支援成員行的運營、市場、銷售等實時業務需求。

山東城商行聯盟通過產品調研、可行性分析、POC驗證，選擇DataPipeline數見科技作為合作伙伴共同完成資料庫實時資料採集系統專案的實施。 該方案三大核心能力與聯盟實時資料管理體系整體策略高度契合：

01 多元異構

Oracle、IBM DB2、MySQL、Kafka等多種資料庫進行近實時的資料採集功能，並對資料來源建立高效的管理功能，實現對資料來源、目的地的資料連線統一管理管理，通過介面進行資料來源與目的地註冊，刪除資料來源，同時根據需求不斷迭代支援新的資料庫。

02實時同步

利用解析資料庫歸檔日誌的方式，實現秒級的資料變更捕獲，將解析的變更記錄傳送到資料目的地中，包括日誌中提取資料變更的增、刪、改等DML操作記錄，以及新增表、刪除表、新增欄位、刪除欄位等自動同步到目的地中。

03標準管理

統一的視覺化管理頁面，提供平臺級別的資料管理功能，包括產品許可權、資料時效管理和安全管控等方面功能，為資料工程師、運維人員提供直觀的資料任務地圖，隨時可以洞悉資料的最新動態，極大提升運維工作效率和效益。

面向未來，山東城商行聯盟將持續利用實時資料管理技術，為成員行客戶提供更多便捷、高效的金融服務，支撐智慧化、定製化、更懂客戶的數字銀行服務。 而DataPipeline也將加大對實時資料管理技術的投入力度，深化與金融業務的場景融合，助力金融行業的數字化變革升級。