談談如何從資料湖(Data Lake)架構轉向資料網格(Data Mesh)架構

ITPUB社群 發表於 2022-11-28

談談如何從資料湖(Data Lake)架構轉向資料網格(Data Mesh)架構

談談如何從資料湖(Data Lake)架構轉向資料網格(Data Mesh)架構

談談如何從資料湖(Data Lake)架構轉向資料網格(Data Mesh)架構

談談如何從資料湖(Data Lake)架構轉向資料網格(Data Mesh)架構

談談如何從資料湖(Data Lake)架構轉向資料網格(Data Mesh)架構

談談如何從資料湖(Data Lake)架構轉向資料網格(Data Mesh)架構

談談如何從資料湖(Data Lake)架構轉向資料網格(Data Mesh)架構

談談如何從資料湖(Data Lake)架構轉向資料網格(Data Mesh)架構

談談如何從資料湖(Data Lake)架構轉向資料網格(Data Mesh)架構

談談如何從資料湖(Data Lake)架構轉向資料網格(Data Mesh)架構

談談如何從資料湖(Data Lake)架構轉向資料網格(Data Mesh)架構

談談如何從資料湖(Data Lake)架構轉向資料網格(Data Mesh)架構

談談如何從資料湖(Data Lake)架構轉向資料網格(Data Mesh)架構

談談如何從資料湖(Data Lake)架構轉向資料網格(Data Mesh)架構

談談如何從資料湖(Data Lake)架構轉向資料網格(Data Mesh)架構

談談如何從資料湖(Data Lake)架構轉向資料網格(Data Mesh)架構

談談如何從資料湖(Data Lake)架構轉向資料網格(Data Mesh)架構

談談如何從資料湖(Data Lake)架構轉向資料網格(Data Mesh)架構

談談如何從資料湖(Data Lake)架構轉向資料網格(Data Mesh)架構

談談如何從資料湖(Data Lake)架構轉向資料網格(Data Mesh)架構

談談如何從資料湖(Data Lake)架構轉向資料網格(Data Mesh)架構

談談如何從資料湖(Data Lake)架構轉向資料網格(Data Mesh)架構

談談如何從資料湖(Data Lake)架構轉向資料網格(Data Mesh)架構

談談如何從資料湖(Data Lake)架構轉向資料網格(Data Mesh)架構

談談如何從資料湖(Data Lake)架構轉向資料網格(Data Mesh)架構

談談如何從資料湖(Data Lake)架構轉向資料網格(Data Mesh)架構

談談如何從資料湖(Data Lake)架構轉向資料網格(Data Mesh)架構

談談如何從資料湖(Data Lake)架構轉向資料網格(Data Mesh)架構

談談如何從資料湖(Data Lake)架構轉向資料網格(Data Mesh)架構

以上思路的主要轉變是將域資料產品視為首要關注點,將資料湖工具和管道視為次之關注點。這將當前的架構模式從集中式資料湖轉變為可以很好地協同工作的資料產品生態系統,即資料網格。

同樣的原則也適用於用於業務報告和視覺化的資料倉儲。它只是網格上的一個節點,並且可能位於網格的面向消費者的邊緣上。

儘管資料網格實踐被應用在有些客戶中,但企業規模性的採用仍有很長的路要走。這並不是技術的限制,我們今天使用的所有工具都可以適應多個團隊的分發和所有權。特別是向批處理和流的統一以及ApacheBeam等工具的轉變,很容易允許處理可定址的多語言資料集。組織中的工程師和領導者應該意識到,現有的大資料模式和大資料平臺或資料湖,管理和應用不善可能會重複過去的失敗。

來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/70024420/viewspace-2925479/,如需轉載,請註明出處,否則將追究法律責任。