談談如何從資料湖(Data Lake)架構轉向資料網格(Data Mesh)架構
以上思路的主要轉變是將域資料產品視為首要關注點,將資料湖工具和管道視為次之關注點。這將當前的架構模式從集中式資料湖轉變為可以很好地協同工作的資料產品生態系統,即資料網格。
同樣的原則也適用於用於業務報告和視覺化的資料倉儲。它只是網格上的一個節點,並且可能位於網格的面向消費者的邊緣上。
儘管資料網格實踐被應用在有些客戶中,但企業規模性的採用仍有很長的路要走。這並不是技術的限制,我們今天使用的所有工具都可以適應多個團隊的分發和所有權。特別是向批處理和流的統一以及ApacheBeam等工具的轉變,很容易允許處理可定址的多語言資料集。組織中的工程師和領導者應該意識到,現有的大資料模式和大資料平臺或資料湖,管理和應用不善可能會重複過去的失敗。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/70024420/viewspace-2925479/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 談談資料編織(Data Fabric)和資料網格(Data Mesh)的關係
- Data Mesh,一種新的資料架構理念!架構
- 漫談“資料湖”之價值與架構架構
- 資料編織 (Data Fabric) vs 資料網格 (Data Mesh)
- 資料湖--架構師如何助力“湖加速”?架構
- 資料湖+資料倉儲 = 資料湖庫架構架構
- 淺談hdfs架構與資料流架構
- 談談對資料架構的幾點認識架構
- 談談人工智慧和機器學習的資料架構人工智慧機器學習架構
- 資料湖架構,為什麼需要“湖加速”?架構
- 資料管理架構:單體資料架構與分散式資料網格比較 - enyo架構分散式
- 資料湖架構及概念簡介架構
- 讀資料湖倉08資料架構的演化架構
- 讀資料湖倉04資料架構與資料工程架構
- 談談資料倉儲架構的發展和分類架構
- DATA GUARD架構(一)架構
- 談談資料湖和資料倉儲
- 2020 年,從架構談起,到 Mesh 結束架構
- 談談網路協議 - 資料鏈路層( Data Link)協議
- 架構之:資料流架構架構
- 從工程視角看邁向資料網格架構的六大問題架構
- 按照業務領域畫資料架構圖 業務架構 資料架構架構
- 談談專案架構架構
- 【虹科乾貨】Lambda資料架構和Kappa資料架構——構建現代資料架構架構APP
- 漫談大型網站架構網站架構
- 通用資料湖倉一體架構正當時架構
- 架構之:微服務架構漫談架構微服務
- 架構之:軟體架構漫談架構
- 談談從CAP定理到Lambda架構的演化架構
- 使用Data Lake Analytics讀/寫RDS資料
- 資料湖 VS 資料倉儲之爭?阿里提出大資料架構新概念:湖倉一體阿里大資料架構
- flux架構淺談:什麼資料才應該放storeUX架構
- App架構設計經驗談:資料層的設計APP架構
- 淺談街霸的幀資料 (一):frame data
- Linux Data Structures(Linux資料結構)(轉)LinuxStruct資料結構
- 架構雜談《九》架構
- 架構雜談《八》架構
- 架構雜談《五》架構