企業級實時數倉服務 助力“數字工行”用數再提速

隨著工商銀行數字化轉型工作的深入推進，業務用數的複雜度和時效要求全面提升。為滿足更復雜的用數邏輯和更高時效要求的應用場景，工商銀行軟體開發中心以資料、技術雙要素為驅動，持續提升技術支撐能力，近日正式釋出企業級實時數倉服務，實現資料端到端延時最快可達分鐘級的加工能力，切實提高資料處理時效，為各類決策提供更加實時、精準的資料支援，助力數字工行建設。

一、打造實時數倉核心技術支撐能力

隨著各類用數場景中對資料時效的要求越來越高，基於批處理的離線數倉的T+1時效已經難以滿足業務的需求，即使將排程頻率設定成15~30分鐘級，也只能解決部分時效性要求不高的場景。近幾年逐步發展的實時數倉技術是一種用於儲存和處理實時資料的系統，具備實時進行資料處理和分析的特點，可以實時響應使用者的查詢和分析需求，滿足更高時效需求的應用場景。

工商銀行大資料平臺實時數倉透過引入業界新技術，提供實時採集、實時計算、實時分析三大服務，形成面向業務實時變化的資料處理解決正規化，打造分鐘級資料入湖能力，進一步提升資料加工時效，降低高時效場景的研發門檻，擴充了各類複雜實時分析場景的支撐能力。

1 實時採集

實時採集是指從業務系統實時地採集資料並寫入大資料平臺的能力。工商銀行大資料平臺實時數倉提供實時流式入湖模式，透過資料複製技術將業務原系統資料複製寫入分散式消費服務平臺，資料湖透過訂閱訊息佇列，消費資料入湖。

2 實時計算

實時計算是指對訊息佇列或實時資料湖中的資料進行實時計算和統計的能力。工行大資料平臺採用Flink、Spark等計算引擎對貼源層中的資料進行增量加工，提供低研發門檻的分鐘級實時加工模式，流批資料融合應用，顯著降低開發門檻，使得高時效場景研發成本大幅降低。

3 實時分析

實時分析是指對實時採集、實時計算的資料進行線上分析和查詢的能力，支援BI工具透過互動式分析引擎開展資料實時分析，同時也支援將實時採集、實時計算的結果同步至分析型資料庫(ClickHouse，Guass等)開展分析，顯著提高分析師用數時效性，如圖1所示。

圖1 實時數倉的優勢

二、一站式實時數倉開發工作站

工商銀行大資料平臺基於實時數倉系統提供流批一體的資料研發模式，並提供一站式實時數倉開發工作站(如圖2所示)，只需透過SQL方式即可完成實時作業的開發，顯著降低實時作業開發複雜度，使得高時效資料加工場景能夠實現規模化應用。

圖2 一站式實時數倉開發工作站示意

三、典型應用場景

基於實時採集、實時計算、實時分析服務能力，工商銀行大資料平臺提供多種實時數倉典型正規化，幫助總分行應用從自身高時效業務場景出發，找到與之匹配的解決方案。目前已面向“3+3”戰略工程中相關的重點業務場景開展時效提升工作，支撐多個業務場景資料處理時效從T+1天提升至分鐘級。在信貸資訊服務系統中，實時統計各分行貸款還款情況，支撐各分行實時掌握存量貸款餘額，併為後續保證金、撥備等準確發放提供實時資料參考(如圖3所示)。在法人客戶營銷系統中，實時統計資金流入流出情況，供法人客戶經理便攜獲取，掌握客戶的資金變動情況，挖掘客戶資金變動規律，更好地幫助客戶合理管理資產，擴充新的營銷點。

圖3 在信貸資訊服務場景中的應用示意

後續，工商銀行軟體開發中心將持續推進大資料平臺實時數倉能力建設，在運營觀測能力、資源利用率以及新型計算引擎引入等方面不斷提升，以支撐實時數倉技術規模化推廣，滿足工商銀行各類數字化場景與應用的用數時效，加速推進全行數字化轉型進入新階段。