農行網路流量回溯與分析實現新突破

隨著數字經濟在中國經濟佔比接近四成，數字化已經成為了所有金融機構的必修課。2022年1月，國務院印發《“十四五”數字經濟發展規劃》，圍繞數字經濟發展，部署了最佳化升級數字基礎設施、充分發揮資料要素作用、大力推進產業數字化轉型、加快推動數字產業化等核心任務，並對金融業提出了加快數字化轉型的發展要求。

同月，央行印發《金融科技發展規劃(2022—2025年)》，提出搭建便捷易用的中臺、啟用資料價值、加快企業資料資產化、釋放資料要素潛能、提升數智化營銷能力等重點任務;銀保監會出臺《關於銀行業保險業數字化轉型的指導意見》，更是明確提出全面提升資料治理、資料服務能力、實時化資料應用等資料架構新要求。數字化時代的資料需求從“低頻、靜態的管理決策支援”向“高頻、動態的日常業務經營和資料價值消費”轉變。

一、資料倉儲在金融行業的發展歷程

隨著關係模型在資料庫領域的成功，Oracle、DB2、SyBase、Informix等資料庫產品湧現出來。很長一段時間內，這些產品非常好地滿足了企業對於資料儲存、資料計算的需求。但是，隨著資料量越來越大，應用場景越來越複雜，類似Teradata等公司開始在面向分析的應用場景上做出新的探索。1991年Bill Inmon出版《Building the Data Warehouse》一書，書中正式提出了資料倉儲的概念。資料倉儲誕生之後，逐漸面臨資料爆炸、運維管理複雜、成本高昂等問題，雲端計算時代又給資料倉儲雲原生化帶來了新的契機，透過大幅降低運維難度和成本，提升擴充套件能力和易用性，雲原生資料倉儲成為各領域構建數倉的首選。

金融企業往往同時經營著多個業務線，各個業務線獨立建設自己的業務流程支撐系統，以實現業務操作的線上化和資訊化。這種“煙囪式”的系統建設方式，會造成資料不一致、口徑不統一等問題，對金融企業的資料使用和決策支撐帶來困擾。金融行業的數字化轉型成為必然趨勢，要求行業必須具備敏捷創新能力，快速響應使用者需求，實現面向新業務的轉型。資料倉儲技術的發展，為金融行業構建企業級資料平臺提供了良好的方法論和技術支援，對金融企業提高商業競爭力至關重要。

資料倉儲在金融行業經歷瞭如下 幾個發展階段：

圖1 資料倉儲在金融行業的發展階段

(1)報告型資料倉儲階段。資料倉儲整合各業務系統的資料，以各種報表的形式呈現出來，供各級管理者瀏覽使用，管理者透過報表瞭解目前的業務發生情況。(2)分析型資料倉儲階段。管理者更希望瞭解現實情況產生的原因。需從不同角度對資料進行分析，需大量使用資料分析、資料探勘等技術，向資料提出問題，從資料當中獲取“知識”。(3)實時服務型資料倉儲階段。管理者希望進一步實時整合資料，實時獲取分析服務，實時預測未來的業務發展和可能風險，以提前做出業務響應和決策。依賴資料和演算法，管理者從被動管理逐步轉向為主動管理的決策狀態。

二、傳統數倉面臨的問題及新一代數倉的新要求

根據IDC預測，到2023年，中國的資料量將達到40ZB。資料倉儲作為資料密集、計算密集的資料集中處理平臺，是資料承載、數字化轉型不可或缺的一環。長期以來，國外資料倉儲廠商是金融、運營商等重點行業的普遍選擇。傳統資料倉儲面對數字化轉型新的訴求顯得越來越“力不從心”，主要體現在：自主可控能力不足;一體機擴容成本高、相容差;缺乏智慧化工具、建設週期長;實時分析和響應能力不足。隨著各行業數字化轉型的深入推進以及IT系統自主可控的政策性鼓勵，傳統數倉迎來了轉型升級的重要視窗期。

圖2 新一代資料倉儲的發展要求

新的數字化轉型和資料應用服務下，金融行業必須思考新一代資料倉儲的建設和解決方案。《金融科技發展規劃(2022—2025年)》和《關於銀行業保險業數字化轉型的指導意見》對新一代資料倉儲提出了新要求。

(1)中臺化：構建整合資料整合、提純加工、建模分析、質量管控、可視互動等功能的綜合型資料中臺，打造資料驅動、業務聯動的企業級資料服務能力中樞，推動業務資料化向資料業務化進階發展。

(2)數智化：在獲客、活客方面，盤活金融機構內部資料資產，洞察客戶行為偏好和真實金融需求，向客戶提供智慧化、人性化的營銷內容、產品選項、搜尋結果等。

(3)安全化：建立完善資料安全管理體系，建立資料分級分類管理制度。強化對資料的安全訪問控制，建立資料全生命週期的安全閉環管理機制。

(4)統一化管控與差異化服務的平衡：新一代資料架構既要兼顧對資料的研發、管理、模型、標準、治理等資料架構管理的統一化要求，又要滿足業務對資料實時化、低門檻資料服務、資料沙箱安全隔離、雲原生等靈活性和差異化業務需求。

圖3 傳統數倉到新一代數倉的多元化能力對比

數字化時代，作為企業資料架構的核心“資料動能引擎”，新一代數倉除了實時化、服務化的基礎能力外，需要具備更加多元化資料處理技術和主流技術架構融合。

為了解決上述問題和需求，阿里巴巴立項研發了一套高效能、敏捷可控、獨立智慧財產權的雲原生資料倉儲AnalyticDB。AnalyticDB在關鍵技術上持續創新，解決了傳統資料倉儲在大規模資料複雜分析場景下存在的效能、併發和智慧化瓶頸，在支援複雜查詢的分散式儲存引擎、超大規模混合負載的執行框架等方面取得重大突破。AnalyticDB的使用者覆蓋包括傳統大中型企業、政府機構、金融機構、網際網路在內的十餘個行業，並獲得了浙江省科技進步一等獎。

三、新一代雲原生資料倉儲的關鍵技術能力

下面將結合AnalyticDB，介紹新一代雲原生資料倉儲需具備的能力。

1.ACID+CRUD。由於金融行業對資料的準確性、可靠性的嚴苛要求，以及資料規模的極速擴張，傳統資料倉儲一方面透過MPP架構提升整體系統的吞吐，另一方面在分散式場景下也繼承了傳統關聯式資料庫ACID的特性確保了資料的準確可靠，ACID+CRUD這些基本特性是傳統資料倉儲的優勢，也是新一代資料倉儲應該繼續保留和發揚的。AnalyticDB保證完整的ACID事務能力，支援併發Insert/Update/Delete/Select，能夠支撐真實複雜的金融業務場景，滿足金融業務需求。

2.HTAP。HTAP資料庫是能夠將事務處理(OLTP)和資料分析(OLAP)請求在同一個資料庫系統中完成。分析師認為，這種架構具有顯而易見的優勢，不但避免了繁瑣且昂貴的ETL操作，而且可以更快地對最新資料進行分析，這種快速分析資料的能力將成為未來企業的核心競爭力之一。

AnalyticDB以OLAP為基礎，不斷最佳化OLTP的處理能力。在某交易所新版實時監查系統中，既有按證券代號、股東程式碼精確查詢，也有市場級別的拉抬打壓的分析，透過AnalyticDB提供的高效資源隔離能力，既保證了資料百萬級別的實時高效寫入，也保證了複雜分析的秒級返回，為科技監管提供了有效的技術支撐。

3.架構平滑演進。架構平滑演進是指企業能夠根據資料業務場景的特點，對擴充套件性、可用性、成本、效能等多方面綜合考慮去選擇最適合的一種底層資料平臺架構，並具備向另一種架構的平滑演進能力。隨著數倉叢集規模增長到一定程度(>200臺)，存算一體架構遇到越來越大的問題，比如叢集規模無法進一步的擴大、資料無法共享、硬體故障導致的效能下降等。得益於40Gb網路、NVMe SSD、RDMA、CIPU(硬體輔助加速)等技術的普及和推廣，新一代資料倉儲架構得以升級和更新。

AnalyticDB實現了真正的存算分離，一方面透過計算和儲存分離做到資源池化實現資源最大化利用，另一方面透過低成本的物件儲存進一步減少成本，並具備快速橫向擴充套件的能力。

圖4 新一代數倉的存算分離架構

4.自主、安全、敏捷。《關於銀行業保險業數字化轉型的指導意見》將自主可控提至全新高度，自主案例是金融行業數字化轉型的核心關注點，要求堅持關鍵技術自主可控原則，對業務經營發展有重大影響的關鍵平臺、關鍵元件以及關鍵資訊基礎設施要形成自主研發能力，降低外部依賴、避免單一依賴。加快資料庫、中介軟體等通用軟體技術服務能力建設，支援大規模企業級技術應用。

AnalyticDB可實現對MySQL、Oracle、Teradata等的替代，支援主流CPU等自主可控的硬體平臺和OS部署，滿足部署需求。AnalyticDB程式碼均由團隊自主研發並掌握底層核心架構，行級程式碼自研率達到86.13%，完全具備程式碼的自主修改和調整能力。

四、新一代雲原生資料倉儲的實踐

出於服務國家“十四五”數字化轉型和基礎軟體部署戰略，阿里雲重磅推出“資料倉儲升艙解決方案”，將阿里標準化產品、多年實踐、成熟方法論結合，旨在解決傳統資料倉儲升級轉型面臨的諸多新變化，為行業客戶提供全新的數倉應用體驗，從以往高度限制業務發展的老技術架構，升級為雲原生技術架構，加速資料價值線上化。

透過阿里雲“升艙”體系化的指導方法論和配套實踐路線，幫助金融行業客戶將傳統數倉全面升級至AnalyticDB，或構建於AnalyticDB基礎上的資料平臺全新架構，有效滿足客戶對於資料平臺實時化、彈性擴充套件、高價效比及安全可控的訴求，突破傳統數倉技術瓶頸，賦能企業數智化創新。

圖5 新一代數倉AnalyticDB應用實踐

目前，AnalyticDB在金融行業中已經有諸多實踐落地，如申萬宏源證券、中再集團、太平洋保險等，在實時監察、實時推薦、數字營銷、千人千面個性化服務、實時賬單服務等領域實踐，幫助證券、保險、銀行打造一體的雲原生資料倉儲服務，從點到面逐步提升金融機構資料能力。