資料網格與Data Fabric的區別 - thenewstack
Data Fabric和Data Mesh資料網格都認為:在物理上集中所有資料是徒勞的。他們都認識到資料量只會增長,而資料來源只會成倍增加。
結果,這兩者有時往往會混為一談。
但是它們在理念和實施方面都非常不同,並且每種方法都有很大的優點。
從本質上講,資料網格是一種類似於聯邦政府的模型,而Data Fabric資料結構則類似於集中式結構。
Data Fabric
Data Fabric 平臺賦予分散資料的物理現實性,並試圖透過建立仍然在邏輯上整合資料的虛擬化訪問層來緩解這種情況。這種邏輯上的統一意味著中央點:這個單點仍然可以管理資料、治理資料並使其符合公司範圍的標準。
Data Fabric 還收集了一系列用於資料轉換和分析的技術,並將它們按單點形式提供給組織業務部門,以實現自助分析。
Data Fabric與特定供應商堆疊相關聯,特別耦合於提供完整資料平臺的供應商。
資料網格:協作自治
資料網格表示不同的資料子集應該由最常使用它的業務領域內的團隊完全管理。這些團隊應該將資料作為事件流、表或 API 驅動的服務提供給其他業務部門/領域的其他團隊,並且應該使它們像可以與其他資料結合的構建塊一樣易於使用。
Thoughtworks 的開創者 Zhamak Dehghani描述了其嚴格性。Dehghani 表示,Data Mesh 架構基於面向領域、去中心化資料所有權和架構的原則;資料作為產品;作為平臺的自助服務基礎設施;和聯合計算治理。此外,Dehghani 表示,每個面向領域的團隊生產的資料產品都應該是可發現的、可定址的、值得信賴的,並具有自我描述的語義和語法。它們還應該是可互操作的、安全的,並受全球標準和訪問控制的約束。
換句話說,相對較小的跨職能團隊擁有屬於其業務領域的所有資料資產的開發、部署和維護。領域資料集、服務和 API 是以產品驅動的心態開發的,強調可發現性和可用性。
資料集的消費者是客戶;他們的滿意度和採用水平構成了領域團隊成功的重要指標。基礎設施的實施、供應和維護是集中的,治理標準和控制也是如此。其餘的由業務領域團隊控制。
Data Mesh 背後的思想與 2000 年代中期的面向服務架構 (SOA) 運動和今天的微服務背後的思想非常相似。它斷言緊密耦合的單體架構是脆弱的,缺乏敏捷性,最終會過時。相反,最好將分析資料重構為鬆散耦合的構建塊服務,開發人員可以輕鬆理解、採用和使用這些服務,並與其他此類服務結合以創造更高價值的東西。
資料網格領域中的領域團隊類似於軟體世界中的開發團隊,後者是跨職能的,對他們設計、開發和交付的軟體產品承擔全部責任。不利的一面是,開發團隊及其程式碼庫之間的實現風格、語義和開發方法的差異當然會發生。
開明的架構、授權和自治將有所幫助。但它們必須以強制合規性和相容性的現實為基礎,同時避免技術債務和碎片化。
相關文章
- 資料編織 (Data Fabric) vs 資料網格 (Data Mesh)
- 談談資料編織(Data Fabric)和資料網格(Data Mesh)的關係
- 如何實施資料網格? - thenewstack
- GitOps中推送與拉取兩種風格的區別 – thenewstackGit
- 資料網格將替代資料倉儲或資料湖?- thenewstack
- Data Fabric:資料管理的未來已來
- 什麼是資料編織"Data Fabric "?
- 資料倉儲與大資料的區別大資料
- 談談如何從資料湖(Data Lake)架構轉向資料網格(Data Mesh)架構架構
- 靜態網格體和骨架網格體的區別
- HTTP請求中的Form Data與Request Payload的區別HTTPORM
- 資料庫中where與having的區別資料庫
- 資料探勘與資料分析的主要區別是什麼
- form-data與x-www-form-urlcoded區別ORM
- NO_DATA_FOUND和%NOTFOUND的區別
- 資料資產管理與資料治理什麼區別?
- 死磕了老半天,終於讀懂了資料編織(Data Fabric)
- 資料倉儲、資料湖與湖倉一體的區別與聯絡
- 在資料庫的查詢與更新中,CHARINDEX與instr的區別?資料庫Index
- hyperledger fabric - chaincode fingerprint mismatch data mismatchAI
- WAF與網路防火牆的區別防火牆
- 千兆網路卡與萬兆網路卡的區別在哪?
- 資料化與資訊化的邏輯,有本質的區別
- fabric資料持久化持久化
- 區別值型別資料和引用型別資料型別
- 【clickhouse專欄】資料庫、資料倉儲之間的區別與聯絡資料庫
- DAMA認證|一文淺析資料治理與資料管理的區別
- 表單 x-www-form-urlencoded 與 multipart/form-data 區別ORM
- ??與?:的區別
- 靜態網頁與動態網頁的區別網頁
- 雲端計算和大資料的區別與關係大資料
- AI智慧與大資料的本質區別是什麼?AI大資料
- VO(檢視模型) 與 DTO(資料傳輸物件)的區別模型物件
- 淺談大資料、資料分析、資料探勘的區別!大資料
- SQL與NoSQL(關係型與非關係型)資料庫的區別SQL資料庫
- 大資料分析與機器學習之間的區別與聯絡大資料機器學習
- 原生分散式資料庫與子資料庫子表中介軟體的區別分散式資料庫
- Reddit網友談資料分析師和資料科學家的職業區別資料科學