建信金融科技陳曉新:20000節點數倉叢集在大型商業銀行的落地實踐
陳曉新 建信金融科技 基礎技術中心,龍趺MPP DB產品負責人
資料倉儲在商業銀行有著幾十年的建設發展歷程,在過去的十年中,大多數商業銀行普遍選擇MPP架構的資料庫來進行資料庫倉庫的底層搭建。不過,隨著銀行數字化的快速發展,傳統MPP架構的資料庫慢慢開始無法滿足日益增長的海量資料的儲存和計算需求。為了滿足在雲化數倉建設中,對於底層資料倉儲叢集資料互通共享、併發線性擴充套件、資源動態伸縮、運維自動智慧等方面的需求,中國建設銀行在2018年啟動新一代MPP資料庫的研發工作,並與2019年底正式上線。經過幾年的研究和打磨,目前建行的雲化數倉叢集已經超過20000個節點。
本次分享,聚焦於超大規模MPP資料庫的技術架構設計,以及該架構對於商業銀行資料倉儲建設所帶來的全新變革和提升。同時也總結了建設過程當中所遇到的一些問題,和對於未來發展方向的一些思考。
演講重點內容提綱:
1)數倉叢集建設現狀(規模、執行現狀等)
2)技術架構和特徵(為什麼要建設新一代MPP資料庫,雲原生架構和計算與儲存分離架構)
3)各元件核心能力
4)應用全新體驗(對於上層應用以及運維使用帶來什麼樣的變革和提升)
5)未來規劃和思考
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/70009762/viewspace-2929873/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 20000節點雲數倉在大型商業銀行的“實踐之路”
- 農業銀行湖倉一體實時數倉建設探索實踐
- 實時數倉在滴滴的實踐和落地
- 香港金融學院:金融科技在香港銀行業的採用和創新行業
- 微眾銀行案例|容器化實踐在金融行業落地面臨的問題和挑戰行業
- 大型商業銀行主機架構轉型DDD實踐架構
- 大型銀行組裝式應用在數字生態基座落地實踐
- HAC叢集新增新節點
- 網商銀行資料庫迭代記,OceanBase助力金融創新實踐資料庫
- Hadoop 叢集角色和節點數規劃建議Hadoop
- 中小銀行資料倉儲建設 | 最佳實踐
- 中原銀行對金融行業實時數倉的現狀與發展趨勢思考行業
- Kubernetes在宜信落地實踐
- 商業銀行押品管理系統建設探索和實踐
- TKE 叢集組建最佳實踐
- SACC2018:金融行業開源架構落地實踐行業架構
- Apache Doris 在同程數科數倉建設中的實踐Apache
- Whalestudio助力西南某商業銀行資料中臺建設 | 實踐探索
- zookeeper叢集奇偶數節點問題
- ClusterShell:一個在叢集節點上並行執行命令的好工具並行
- 重工業數字化轉型創新實踐:某國家特大型鋼鐵企業如何快速落地基於實時數倉的資料分析平臺
- 某大型運營商微服務能力中臺落地實踐微服務
- 美團點評基於 Flink 的實時數倉建設實踐
- 微信ClickHouse實時數倉的最佳實踐
- 金融科技行業軟體開發的安全類最佳實踐行業
- 數倉服務平臺在唯品會的建設實踐
- consul 多節點/單節點叢集搭建
- Oceanbase 4.0 三節點叢集x86平臺安裝實踐
- 實時分析全面賦能金融業務,馬上消費基於 Apache Doris 構建實時數倉的實踐Apache
- ONES X 深圳農村商業銀行 | 數字化專案管理實踐專案管理
- 行業方案 | 新規落地,企業集團財務公司如何構建數智財務體系?行業
- 應用實踐——新東方實時數倉實踐
- 火山引擎雲原生大資料在金融行業的實踐大資料行業
- 超強教程!在樹莓派上構建多節點K8S叢集!樹莓派K8S
- 58同城使用者行為數倉建設及實踐
- 世界銀行:金融科技與金融的未來報告
- 金融科技 DevOps 的最佳實踐dev
- 建信金融科技付曉巖:萬物皆有架構,架構復現萬物架構