資料網格與Data Fabric的區別 - thenewstack
Data Fabric和Data Mesh資料網格都認為:在物理上集中所有資料是徒勞的。他們都認識到資料量只會增長,而資料來源只會成倍增加。
結果,這兩者有時往往會混為一談。
但是它們在理念和實施方面都非常不同,並且每種方法都有很大的優點。
從本質上講,資料網格是一種類似於聯邦政府的模型,而Data Fabric資料結構則類似於集中式結構。
Data Fabric
Data Fabric 平臺賦予分散資料的物理現實性,並試圖透過建立仍然在邏輯上整合資料的虛擬化訪問層來緩解這種情況。這種邏輯上的統一意味著中央點:這個單點仍然可以管理資料、治理資料並使其符合公司範圍的標準。
Data Fabric 還收集了一系列用於資料轉換和分析的技術,並將它們按單點形式提供給組織業務部門,以實現自助分析。
Data Fabric與特定供應商堆疊相關聯,特別耦合於提供完整資料平臺的供應商。
資料網格:協作自治
資料網格表示不同的資料子集應該由最常使用它的業務領域內的團隊完全管理。這些團隊應該將資料作為事件流、表或 API 驅動的服務提供給其他業務部門/領域的其他團隊,並且應該使它們像可以與其他資料結合的構建塊一樣易於使用。
Thoughtworks 的開創者 Zhamak Dehghani描述了其嚴格性。Dehghani 表示,Data Mesh 架構基於面向領域、去中心化資料所有權和架構的原則;資料作為產品;作為平臺的自助服務基礎設施;和聯合計算治理。此外,Dehghani 表示,每個面向領域的團隊生產的資料產品都應該是可發現的、可定址的、值得信賴的,並具有自我描述的語義和語法。它們還應該是可互操作的、安全的,並受全球標準和訪問控制的約束。
換句話說,相對較小的跨職能團隊擁有屬於其業務領域的所有資料資產的開發、部署和維護。領域資料集、服務和 API 是以產品驅動的心態開發的,強調可發現性和可用性。
資料集的消費者是客戶;他們的滿意度和採用水平構成了領域團隊成功的重要指標。基礎設施的實施、供應和維護是集中的,治理標準和控制也是如此。其餘的由業務領域團隊控制。
Data Mesh 背後的思想與 2000 年代中期的面向服務架構 (SOA) 運動和今天的微服務背後的思想非常相似。它斷言緊密耦合的單體架構是脆弱的,缺乏敏捷性,最終會過時。相反,最好將分析資料重構為鬆散耦合的構建塊服務,開發人員可以輕鬆理解、採用和使用這些服務,並與其他此類服務結合以創造更高價值的東西。
資料網格領域中的領域團隊類似於軟體世界中的開發團隊,後者是跨職能的,對他們設計、開發和交付的軟體產品承擔全部責任。不利的一面是,開發團隊及其程式碼庫之間的實現風格、語義和開發方法的差異當然會發生。
開明的架構、授權和自治將有所幫助。但它們必須以強制合規性和相容性的現實為基礎,同時避免技術債務和碎片化。
相關文章
- 資料編織 (Data Fabric) vs 資料網格 (Data Mesh)
- 談談資料編織(Data Fabric)和資料網格(Data Mesh)的關係
- 如何實施資料網格? - thenewstack
- GitOps中推送與拉取兩種風格的區別 – thenewstackGit
- 資料網格將替代資料倉儲或資料湖?- thenewstack
- Data Fabric:資料管理的未來已來
- 什麼是資料編織"Data Fabric "?
- 大資料與海量資料的區別大資料
- “大資料”與“海量資料”的區別大資料
- 靜態網格體和骨架網格體的區別
- 〈%# 〉與〈%= 〉的區別,顯示資料與繫結資料
- 資料倉儲與大資料的區別大資料
- 談談如何從資料湖(Data Lake)架構轉向資料網格(Data Mesh)架構架構
- 資料倉儲與ODS的區別
- object_id 與data_object_id 的區別Object
- MySQL字元資料型別char與varchar的區別MySql字元資料型別
- 統計學與資料探勘的區別
- 資料探勘與資料分析的主要區別是什麼
- 資料庫與資料倉儲的區別是什麼資料庫
- 資料資產管理與資料治理什麼區別?
- 資料庫中where與having的區別資料庫
- MapReduce 與 關係型資料庫的區別資料庫
- 大資料與深度學習區別大資料深度學習
- HTTP請求中的Form Data與Request Payload的區別HTTPORM
- 死磕了老半天,終於讀懂了資料編織(Data Fabric)
- 資料倉儲、資料湖與湖倉一體的區別與聯絡
- 資料網格的編輯
- 大資料分析與機器學習之間的區別與聯絡大資料機器學習
- Jquery中.attr()和.data()的區別jQuery
- NO_DATA_FOUND和%NOTFOUND的區別
- data_object_id 及 object_id 的聯絡與區別Object
- 關於Oracle資料庫與MySQL資料庫的幾點區別Oracle資料庫MySql
- python資料型別判斷type與isinstance的區別Python資料型別
- form-data與x-www-form-urlcoded區別ORM
- oracle資料型別data type與儲存空間大小(一)Oracle資料型別
- oracle資料型別data type與儲存空間大小(二)Oracle資料型別
- fabric資料持久化持久化
- WAF與網路防火牆的區別防火牆