資料治理的關鍵:後設資料治理如何開展

qing_yun發表於2023-04-17

談到後設資料管理的問題,我們可以從一個基本問題開始,後設資料到底是什麼,它為什麼重要?簡單地說,後設資料是描述其他資料的資料。它就像一瓶罐頭上的標籤——它告訴你裡面有什麼以及如何使用它。

在資料管理的背景下,後設資料對於理解和管理資料資產至關重要。它幫助我們瞭解資料的來源、處理方式和使用方式。沒有後設資料,就像在沒有路標的情況下嘗試在城市中行駛一樣——您最終可能會到達目的地,但這會更加困難和耗時。

GB/T 34960.5-2018 資訊治理

有不同型別的後設資料,每一種都有特定的用途。例如,技術後設資料描述了資料資產的技術特徵,例如檔案格式和資料結構。業務後設資料提供有關資料的業務含義和上下文的資訊,例如業務定義和資料沿襲。管理後設資料包括有關資料管理的資訊,例如資料質量和訪問控制。

在本文中,將深入後設資料管理領域,包括後設資料發現和收集、概要分析和質量評估、建模和標準化以及整合和管理的過程。同時,還介紹了流行的後設資料管理工具、選擇和實施它們的最佳實踐,以及如何透過後設資料治理確保遵守法規和標準。

後設資料管理流程

首先是,後設資料發現和收集。此步驟是關於從組織內外部的各種來源查詢和收集後設資料。

接下來,進行後設資料分析和質量評估。這一步是為了更好地瞭解後設資料。仔細檢視已收集的後設資料,並評估其質量。

在更好地瞭解了後設資料後,就需要清理和整理它了。這就是後設資料建模和標準化的過程。這一步是為了確保後設資料一致並遵循相同的格式。將其視為對後設資料的改造 — 賦予它新的外觀,並確保它已為各種應用做好準備。

最後是,後設資料整合和管理。這一步是關於將所有內容放在一起並確保後設資料得到有效使用。把它想象成一個拼圖——已經有了所有的部分,現在是時候把它們放在一起並看到更大的圖景了。

以上就是對後設資料管理過程的概述。

後設資料管理工具

談到後設資料管理時,要考慮的最重要的事情之一就是使用的工具。畢竟,即使有定義最明確的後設資料治理政策和程式,但如果沒有合適的工具來管理和實施它們,努力就會功虧一簣。

首先,市場上有太多的選擇。從 Apache Atlas 和 Metadata Repository 等開源產品到 Informatica MDM、Collibra 和 Alation Data Catalog 等商業產品。每個工具都有自己的一組特性和功能,因此進行研究並找到最適合組織需求的工具非常重要。下面,列出了其中一些工具以及提供它們的公司。

  • AWS Glue 資料目錄— 亞馬遜網路服務 (AWS)

  • Azure 資料目錄— Microsoft Azure

  • 谷歌雲資料目錄——谷歌雲平臺

  • Alation 資料目錄— Alation

  • Collibra 資料治理— Collibra

  • Informatica MDM Hub 雲— Informatica

  • Talend 後設資料管理器— Talend

在後設資料管理工具中的關鍵因素之一是它發現、收集和分析後設資料的能力。這對於瞭解組織內的資料格局和識別潛在的質量問題至關重要。一些工具還包括資料建模和標準化功能,這有助於確保後設資料之間的一致性。

後設資料管理和透過監控資料流生成資料沿襲

另一個需要考慮的重要因素是該工具跨不同系統和平臺整合和管理後設資料的能力。組織使用多個系統和平臺的情況並不少見,因此可以無縫整合所有這些系統和平臺的後設資料的工具是必不可少的。

除了這些核心功能外,一些工具還提供高階功能,如資料沿襲跟蹤、資料治理和安全性。這些對於具有嚴格合規性要求的組織尤其有用。

在選擇和實施後設資料管理工具時,需要牢記一些最佳實踐。首先,讓所有相關利益相關者參與選擇過程非常重要,包括 IT、資料治理和業務團隊。這將確保選擇的工具滿足組織內所有團隊的需求。

其次,重要的是在實施之前徹底測試該工具,並就將如何使用該工具以及將管理哪些資料制定一個明確的計劃。這將有助於確保實施過程的順利進行。

最後,不要忘記可擴充套件性,因為可能需要擴充套件後設資料管理工具以滿足組織不斷增長的需求。

簡而言之,後設資料管理工具是有效後設資料管理的關鍵組成部分。透過仔細研究併為組織選擇合適的工具,可以確保後設資料得到妥善管理、準確且對業務有用。

後設資料治理

正如我們在前面幾節中討論的那樣,後設資料管理對於維護資料的質量和完整性至關重要。但是,這不僅僅是管理後設資料本身——它還涉及確保組織擁有適當的流程和策略來管理該後設資料。這就是資料治理的價值所在。

資料治理是建立用於管理組織內資料的策略、過程和指南的過程。而且,後設資料管理是資料治理的重要組成部分。透過清楚地瞭解組織的後設資料,可以確保資料得到正確使用並且符合組織的標準。

資料治理的關鍵組成部分之一是資料質量。透過清楚瞭解組織的後設資料,可以確保資料準確、完整和一致。此外,透過制定管理後設資料的流程,可以確保正確跟蹤對資料的任何更改,並確保資料始終是最新的。

資料治理的另一個關鍵組成部分是資料安全。透過清楚地瞭解組織的後設資料,可以確保資料得到適當保護並且符合組織的安全標準。此外,透過制定管理後設資料的流程,可以確保資料只能由授權使用者訪問。

總之,資料治理和後設資料管理是齊頭並進的。透過清楚地瞭解組織的後設資料,可以確保資料具有高質量、準確、完整和一致,並且符合組織的標準和安全要求。藉助實施良好的資料治理框架,可以保護組織的資料並確保資料始終是最新的和準確的。

雲中的後設資料管理

眾所周知,雲已經徹底改變了組織儲存和訪問資料的方式。而且,後設資料管理也不例外。隨著越來越多地採用基於雲的解決方案,資料專業人員必須瞭解在雲中管理後設資料的挑戰和最佳實踐。

首先,讓我們談談挑戰。雲中後設資料管理的最大挑戰之一是缺乏標準化。不同的雲提供商可能有不同的儲存和訪問後設資料的方法,這使得跨不同系統管理和整合後設資料變得困難。此外,雲可能會引入新的安全性和合規性問題,在管理後設資料時需要考慮這些問題。

但別擔心,這些挑戰都有解決方案。在雲中管理後設資料的最佳實踐之一是使用基於雲的後設資料管理工具。這些工具專為與基於雲的系統配合使用而設計,可以幫助標準化和整合不同雲提供商的後設資料。此外,清楚瞭解組織的安全性和合規性要求並確保後設資料管理解決方案滿足這些要求也很重要。

在雲中管理後設資料的另一個最佳實踐是制定遷移計劃。如果要將後設資料從本地系統遷移到雲端,請務必制定計劃以瞭解如何在遷移過程中處理後設資料。這可能包括將後設資料從本地系統對映到基於雲的系統,並確保所有後設資料都得到正確傳輸和整合。

總之,雲中的後設資料管理可能會帶來一些挑戰,但透過適當的工具和最佳實踐,這是一項可管理的任務。隨著雲越來越受歡迎,資料專業人員必須瞭解在雲中管理後設資料的挑戰和最佳實踐。有了這些知識,就可以在雲中導航並檢查後設資料。

來自 “ 資料驅動智慧 ”, 原文作者:曉曉;原文連結:https://mp.weixin.qq.com/s/7mJbWszd-v9LAPVuB5PbbQ,如有侵權,請聯絡管理員刪除。

相關文章