建信金融科技陳曉新:20000節點數倉叢集在大型商業銀行的落地實踐
陳曉新 建信金融科技 基礎技術中心,龍趺MPP DB產品負責人
資料倉儲在商業銀行有著幾十年的建設發展歷程,在過去的十年中,大多數商業銀行普遍選擇MPP架構的資料庫來進行資料庫倉庫的底層搭建。不過,隨著銀行數字化的快速發展,傳統MPP架構的資料庫慢慢開始無法滿足日益增長的海量資料的儲存和計算需求。為了滿足在雲化數倉建設中,對於底層資料倉儲叢集資料互通共享、併發線性擴充套件、資源動態伸縮、運維自動智慧等方面的需求,中國建設銀行在2018年啟動新一代MPP資料庫的研發工作,並與2019年底正式上線。經過幾年的研究和打磨,目前建行的雲化數倉叢集已經超過20000個節點。
本次分享,聚焦於超大規模MPP資料庫的技術架構設計,以及該架構對於商業銀行資料倉儲建設所帶來的全新變革和提升。同時也總結了建設過程當中所遇到的一些問題,和對於未來發展方向的一些思考。
演講重點內容提綱:
1)數倉叢集建設現狀(規模、執行現狀等)
2)技術架構和特徵(為什麼要建設新一代MPP資料庫,雲原生架構和計算與儲存分離架構)
3)各元件核心能力
4)應用全新體驗(對於上層應用以及運維使用帶來什麼樣的變革和提升)
5)未來規劃和思考
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/70009762/viewspace-2929873/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 20000節點雲數倉在大型商業銀行的“實踐之路”
- 農業銀行湖倉一體實時數倉建設探索實踐
- 實時數倉在滴滴的實踐和落地
- 香港金融學院:金融科技在香港銀行業的採用和創新行業
- 微眾銀行案例|容器化實踐在金融行業落地面臨的問題和挑戰行業
- 大型商業銀行主機架構轉型DDD實踐架構
- 大型銀行組裝式應用在數字生態基座落地實踐
- 在多節點的叢集上執行Cassandra
- 網商銀行資料庫迭代記,OceanBase助力金融創新實踐資料庫
- 中小銀行資料倉儲建設 | 最佳實踐
- 中原銀行對金融行業實時數倉的現狀與發展趨勢思考行業
- 商業銀行押品管理系統建設探索和實踐
- Hadoop 叢集角色和節點數規劃建議Hadoop
- Kubernetes在宜信落地實踐
- 重工業數字化轉型創新實踐:某國家特大型鋼鐵企業如何快速落地基於實時數倉的資料分析平臺
- TKE 叢集組建最佳實踐
- Apache Doris 在同程數科數倉建設中的實踐Apache
- 某大型運營商微服務能力中臺落地實踐微服務
- ClusterShell:一個在叢集節點上並行執行命令的好工具並行
- 微眾銀行資管科技平臺入選《哈佛商業評論》“中國新增長創新實踐”榜單
- ONES X 深圳農村商業銀行 | 數字化專案管理實踐專案管理
- 美團點評基於 Flink 的實時數倉建設實踐
- 應用實踐——新東方實時數倉實踐
- 金融科技行業軟體開發的安全類最佳實踐行業
- 行業方案 | 新規落地,企業集團財務公司如何構建數智財務體系?行業
- 數倉服務平臺在唯品會的建設實踐
- SACC2018:金融行業開源架構落地實踐行業架構
- 商業銀行CIF系統構建策略
- 科技金融時代下:銀行的智慧金融之路(附下載)
- 推動金融信創生態建設綠盟科技收到來自專業實驗室的感謝信
- 火山引擎雲原生大資料在金融行業的實踐大資料行業
- 銀行專家分享:生產關鍵系統儲存建設落地實踐
- 某大型國有銀行 VMware 替換與輕量信創雲底座轉型實踐 |信創專題
- consul 多節點/單節點叢集搭建
- 全民加速節:全站加速在遊戲行業的最佳實踐遊戲行業
- 4.2 叢集節點初步搭建
- 58同城使用者行為數倉建設及實踐
- 超強教程!在樹莓派上構建多節點K8S叢集!樹莓派K8S