談談如何從資料湖(Data Lake)架構轉向資料網格(Data Mesh)架構

以上思路的主要轉變是將域資料產品視為首要關注點,將資料湖工具和管道視為次之關注點。這將當前的架構模式從集中式資料湖轉變為可以很好地協同工作的資料產品生態系統,即資料網格。
同樣的原則也適用於用於業務報告和視覺化的資料倉儲。它只是網格上的一個節點,並且可能位於網格的面向消費者的邊緣上。
儘管資料網格實踐被應用在有些客戶中,但企業規模性的採用仍有很長的路要走。這並不是技術的限制,我們今天使用的所有工具都可以適應多個團隊的分發和所有權。特別是向批處理和流的統一以及ApacheBeam等工具的轉變,很容易允許處理可定址的多語言資料集。組織中的工程師和領導者應該意識到,現有的大資料模式和大資料平臺或資料湖,管理和應用不善可能會重複過去的失敗。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/70024420/viewspace-2925479/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 伺服器資料修復的幾個技能
- 【伺服器資料恢復】IBM X系列伺服器資料恢復案例
- 談談如何像對待產品一樣對待資料
- 談談華為資料治理的五點啟示
- 浪潮卓數:釋放資料要素價值 助力中小微企業數字化轉型
- 資料結構初階--二叉樹介紹(基本性質+堆實現順序結構)
- 好大夫資料安全分類分級實踐探索
- 愛奇藝在服務網格方向的落地實踐
- 資料分析之杜邦分析法的公式及示例
- 峰值超2億/秒,Kafka在美團資料平臺的實踐
- 美團實時數倉架構演進與建設實踐
- 企業進行資料抓取時要注意什麼?
- MySql資料庫最佳化的幾條核心建議
- 原生分散式資料庫與子資料庫子表中介軟體的區別
- kubernetes資料持久化StorageClass動態供給(二)
- 如何在 Docker 容器中執行支援 OData 的 JBoss 資料虛擬化 GA
- MongoDB中如何優雅地刪除大量資料
- 30000字學完MySql資料庫(安裝、SQL、索引、事務等)