20000節點雲數倉在大型商業銀行的“實踐之路”

12月14日至16日，第13屆中國資料庫技術大會（DTCC2022）線上上隆重召開。本次大會以“資料智慧 價值創新”為主題，邀請逾百位行業專家，重點圍繞雲原生資料庫、實時數倉技術與應用實踐、大資料平臺等內容展開分享和探討。

在15日舉行的“金融行業資料庫技術實踐”專場，建信金融科技基礎技術中心、龍趺MPP DB產品負責人陳曉新發表了《20000節點數倉叢集在大型商業銀行的落地實踐》 主旨演講，分享了建信金科在超大規模MPP資料庫實踐應用和創新變革。

陳曉新介紹， 建信金科 聯合HashData等合作伙伴打造的龍趺MPP DB資料庫，採用後設資料、計算、儲存三層分離的架構，在確保高效能運算能力的同時，還具備高併發性、高擴充套件性，以及靈活的資源動態排程和故障自愈能力。龍趺MPP DB強大、穩定、高效的資料處理功能，為建行蓬勃發展的資料分析業務提供了靈活高效的核心資料倉儲支援。

新技術趨勢下的新挑戰

近年來，隨著雲端計算、大資料、人工智慧和 區塊鏈等新技術新模式的日趨成熟，科技對於金融的作用不斷被強化，創新性的金融解決方案層出不窮，“無科技不金融”逐漸成為行業共識。

“十四五”發展規劃和2035年遠景目標綱要指出，“穩妥發展金融科技，加快金融機構數字化 轉型。”

中國建設銀行作為中央管理的大型國有銀行，在推進數字化轉型、建設數字銀行方面，一直走在國內商業銀行前列。2018年，建行成立了建信金融科技有限責任公司（簡稱“建信金科”），匯聚全行科研力量，構建金融科技新生態。

一直以來，銀行業被視為資料庫的“試金石”。龐大的使用者規模、複雜的分析需求，對資料庫的效能、穩定性及安全性提出了極高的要求。特別是隨著5G、移動網際網路技術的興起和普及，網上銀行、手機銀行、電子支付等新業態不斷湧現，高併發、海量資料、超高峰值等挑戰接踵而至，導致資料資源儲存、計算和分析處理等需求大幅提升。

傳統的MPP架構資料庫，使用的是存算一體的私有部署架構，這種架構導致了大量資料冗餘、資料孤島頻發、資源和叢集的運維管控難度大、網路和伺服器資源消耗嚴重等問題。可以說，大型商業銀行資料庫架構的升級迭代勢在必行。

雲原生賦能銀行應用創新發展

為了推動金融科技產業創新發展，2019年8月，中國人民銀行印發的《金融科技（FinTech） 發展規劃（2019—2021年）》明確提出，做好分散式資料庫金融應用的長期規劃，加大研發與應用投入力度，妥善解決分散式資料庫產品在資料一致性、實際場景驗證、遷移保障規範、新型運維體系等方面的問題。探索產用聯合新模式，發揮科技公司的技術與創新能力，共同研發新產品、發展新產業、凝聚新動能。有計劃、分步驟地穩妥推動分散式資料庫產品先行先試，形成可借鑑、能推廣的典型案例和解決方案，為分散式資料庫在金融領域的全面應用探明路徑。

陳曉新介紹，早在2018年， 建信金科 就非常有前瞻性的開始構建基於分散式計算的IT系統架構，並聯合HashData、金山雲等合作伙伴共同打造了適用於銀行核心場景使用的金融級雲原生資料庫產品——龍趺MPP DB資料庫。

龍趺MPP DB核心架構

龍趺MPP DB是基於HashData雲數倉架構打造的私有云版本，採用了雲原生和存算分離的架構設計，具備高可用、高併發、彈性伸縮和高擴充套件性等優勢。

相比傳統MPP資料庫，龍趺MPP DB的後設資料服務分為排程層、無狀態服務層、後設資料持久層三個層次。透過共享儲存架構，任何一個計算叢集都可以去訪問同一份資料，所有叢集共享同一份後設資料，徹底消除“資料孤島”和冗餘。

面對資料日趨多元化的問題，在MPP平行計算架構上，龍趺MPP DB整合GIS、Python等元件，支援SQL分析、機器學習、時空分析等多種分析形式。同時，透過豐富的外部計算引擎聯結器，龍趺MPP DB支援Hive、Spark、Flink、Kafka等第三方計算框架與引擎方便、高效地訪問資料。

此外，龍趺MPP DB支援湖倉一體模式，採用統一的資料儲存，形成企業級資料檢視，以融合架構搭建湖、倉平臺，實現湖倉業務資料和後設資料真正融合。

陳曉新介紹，龍趺MPP DB自2020年3月上線以來，為建行包括監管報送、電子銀行、信用卡、反洗錢等十餘個應用提供了穩定、高效的資料處理分析服務，維護了資料的高質量、權威性和一致性。

截至目前，龍趺MPP DB節點規模超過27000個，結構化資料壓縮後資料量達到18PB，支援上百個業務場景，並且規模還在持續擴充套件。

在成本方面，龍趺MPP DB大幅降低了資料冗餘，減少資料儲存需求30%，節省硬體資源30%以上；在運維方面，龍趺MPP  DB實現了傳統MPP資料庫所無法做到的動態擴縮 容、故障自愈等功能，運維效率提升10倍以上。

尤為重要的是，龍趺MPP DB從伺服器到CPU、儲存、作業系統，均採用國產品牌產品，達到了銀行級的安全可控。

陳曉新表示，基於龍趺MPP DB，建信金科成功實現了超大規模數倉的建設與商用，達到了計算與儲存分離、資料不冗餘、一鍵式部署、一鍵式運維等效果。

展望未來，陳曉新希望透過大資料計算與儲存技術，龍趺MPP DB能夠實現安全可靠、服務不中斷、資料不丟失，可以高效接入、儲存、管理和計算不同型別、不同格式的資料，具備多維度資源彈性伸縮、多租戶負載管控、全場景故障隔離和自動恢復等能力，“讓金融科技盡其所能！”

關於HashData

HashData專注於雲端資料倉儲的研發與推廣，核心團隊主要由來自Pivotal、Teradata、IBM、Yahoo!、Oracle和華為等公司資深的雲端計算、分散式資料庫和大資料專家組成。

憑藉深厚的技術積累和前瞻性的產品理念，目前，HashData資料倉儲已廣泛應用於金融、電信運營商、政府、交通物流、能源和網際網路等行業五十餘家客戶。

HashData致力於提供穩健、高效、開放、自主可控的資料基礎設施，行業頭部合作伙伴為我們提供了領先寶貴的實踐與經驗，我們期待將它們推廣迭代，與更多行業客戶合作，賦能千行百業，降低資料分析門檻，助力企業充分釋放資料價值。