資料編織 (Data Fabric) vs 資料網格 (Data Mesh)

近來，資料管理領域的熱詞也是不少，從國外來的資料編織 (Data Fabric) 和資料網格 (Data Mesh) 是兩個經常被提及的新話題。為了跟上新技術的步伐，我也對這倆概念做了一點功課，和大家一起探討。

Gartner給資料編織(Data Fabric) 的定義如下：

Data Fabric is a design concept that serves as an integrated layer of data and connecting processes.

資料編織是一個設計概念，表示資料和連線程式的整合層。

Forrester給出資料網格 (Data Mesh) 的定義如下：

Data Mesh is a decentralized sociotechnical approach to share, access and manage analytical data in complex and large-scale environments within or across organizations.

資料網格是一種分散的社會技術方法，用於在組織內部或跨組織的各種複雜和大規模環境中，共享、訪問和管理分析資料。

只看概念，是不是看不出啥端倪了，還是上圖吧!

資料編織 (Data Fabric) 把資料從生產到利用的過程分為3個層次：

最底層是記錄系統，也就是各個業務系統的資料庫。

中間層是透過 ETL 等手段轉移到按照資料庫型別分類的各個資料庫中。

最上層是一個整合層，面向使用者提供資料產品，注意實際的資料是儲存在中間層的。

那麼資料網格呢?還是上圖：

資料網格 (Data Mesh) 把資料從生產到利用的過程也是分為3個層次：

·最底層是記錄系統，也就是各個業務系統的資料庫。

·中間層是一個資料湖，資料在湖中做了物理集中。

·最上層是一個，額...，沒有最上層? 最上層其實是基於資料湖中資料形成的資料產品。

問題來了……資料編織 (Data Fabric) 和資料網格 (Data Mesh) 的區別在哪裡呢?

一個主要區別就是這個第二層，在資料編織中，資料是按資料庫型別經過轉換的規整資料，有點Bill Inmon理念資料倉儲的意思吧，資料是處理加工過的，方便給頂層呼叫。而資料網格的資料是全部在資料湖中，還都是原始格式儲存，有點Kimball理念資料倉儲的意思吧。

有什麼本質區別嗎?

有的人說有，有的說沒有，確實要先把“本質區別”是什麼定義清楚，才好說是否有本質區別。個人感覺，就是兩種不同的解決方案。中國人講的資料中臺概念，可以和他們放在一起並列，或者說各家的中臺解決方案，不是資料編織，就是資料網格。

如果還有人說老外的資料編織和資料網格沒有你說的那麼膚淺， 我覺得他們都是主資料+資料倉儲+資料中臺+資料資產管理平臺做一個有機的大整合，不過路徑不同。

你覺得呢?歡迎留言探討!

後續：

在翻譯資料網格這個概念的時候，注意到其定義裡面，用了一個單詞叫Socio-technical，特意翻了詞典叫社會技術系統，這個詞是什麼意思呢，特意查詢了百度百科：

建立社會技術系統，是指為了提高組織效益而採用同時集中於技術和社會兩方面的變革，使他們相互關係最佳配合的一種有計劃的組織變革方法。這種方法強調組織的技術和人的因素的最佳結合，強調對完成工作的方法重新設計。它是現代組織變革活動中較為流行的方法之一 。

都說每個單位就是一個小社會，這個社會不就是要管理嗎!這個定義告訴我們資料管理可不僅僅是技術，不僅僅是IT系統，要用社會的方法，建章立制，有管理辦法，有管理流程，有資料管理的專門角色和團隊，再輔以先進的IT系統才能把資料管理好!

作 者：馬歡，《DMBOK資料管理知識體系(第1&2版)》、《首席資料官管理手冊》等專著中文版主譯者，CDMP Master。