資料網格的注意事項 - Kineret

banq發表於2022-09-13

資料網格是一種思維方式的改變，一種從一個團隊擁有多個可交付成果到多個資料團隊各自擁有一個可交付成果的視角轉變。資料網格是資料民主化和實現每個組織的夢想的關鍵--真正的資料驅動。

在BlaBlaCar，Data Mesh與我們的挑戰產生了共鳴：經歷了從初創企業過渡到中等規模企業的成長之痛。我們的兩個主要挑戰是規模和資料質量：在資料人才不斷增長的同時，我們似乎無法提高資料團隊的速度，這些團隊是按專業組織的。我們不斷透過招聘來解決工作量的問題，但我們的資料質量仍然很差--我們發現問題的時間太晚了，有時甚至是在做出戰略決策之後。

因此，我們決定去做 - 在我們的組織中採用資料網格。這是BlaBlaCar的資料網狀結構之前和之後。

18個月後，我們親身體會到了資料網格實踐在的可做和不可做的事情：

可做的：

1、資料治理是第一位的
資料治理框架是一套規則和工具，用於確保資料所有權、安全性和質量的明確性。在重新組織之前，你的資料治理框架最好已經設定到位。為什麼？想象一下，在沒有任何標準或流程的情況下，給予一個團隊充分的自主權。你會發現你自己在一年後清理了一個巨大而昂貴的混亂。我們要確保不同的領域以類似的語言進行溝通，以應對領域之間的依賴關係、新領域的建立以及人才從一個領域到另一個領域的流動。

2、溝通 溝通 溝通!
採用資料網狀結構是一個很好的術語，它意味著變化和不確定性的重新組織。為什麼有這麼多的不確定性？那些已經採用資料網狀結構的人仍然是先驅者，對資料團隊的長期影響沒有足夠的認識。這就是為什麼我們要讓團隊中最偉大的人物參與進來，在決策過程的早期，避免自上而下的決策。我們建議在資料網概念成為一個堅實的計劃之前，對團隊進行教育：讓他們閱讀相關內容，找到使用案例，創造一個挑戰這個想法的環境。在BlaBlaCar，我們每週都會對計劃進行更新，因為它正在慢慢展開。我們還定期舉行公開的問答會議。

不可做的：

1、不要按書上說的去做
Deghani的精彩文章How to Move Beyond a Monolithic Data Lake to a Distributed Data Mesh是資料網狀結構的基礎，但每個組織都是獨一無二的。請自由地將資料網狀結構適應於你的具體公司，不要逐字逐句地拘泥於說明。為什麼呢？

  • 首先，過渡到100%網狀結構的階段可能會花費你太多時間，而且成本太高。
  • 第二，你會在文獻中找到很少的實用建議，最後可能會在沒有食譜的情況下做一個4層的蛋糕。、

在BlaBlaCar，我們願意在資料網格的關鍵方面進行交易，以使其適合我們的組織，例如為了減少重複，保持攝入的中心功能。

2、不要一次性開始
Data Mesh是一個思維方式的轉變，而不是一個重新組織。心態的轉變需要成熟，而這並不是一朝一夕的事。儘管在科技界的資料機構中出現了Mesh熱潮，但我們並不建議將機構完全轉型。相反，應以小規模的方式實施，並從概念驗證開始。
在BlaBlaCar，我們建立了一個單一的資料域，同時保持其他部分不變。這使我們能夠定期收集團隊的反饋，並透過這些反饋迴圈來改進。

總而言之，推動一個強大的資料治理框架，並有一個明確的重組計劃，而不是匆匆忙忙地進行一個不能適應你的具體情況的重組。

希望我們從戰壕中得到的教訓能幫助你啟動你的資料網。祝您好運!

相關文章