後設資料管理為什麼需要統一的元模型?
前言
每個組織都有自己的資料管理方式。有的公司準備自研並制定了長期計劃,有的公司使用最新的資料管理工具和技術,有的公司則是為了滿足監管機構的要求。這幾種的思路完全不一樣。
要讓公司成為真正的資料驅動型組織,不僅僅需要制定資料策略或推出更新的軟體技術。關鍵在於資料的整體治理和管理,解決這個問題的一個好方法就是後設資料管理。後設資料管理是DAMA資料治理體系中的一部分,後設資料管理與其他資料治理領域巧妙結合,發揮出巨大的作用。
為什麼是後設資料管理?
我們生活在一個每天都能看到新的概念、技術和工具湧現的時代,在資料領域也是一樣。但如果你試圖理解它們的作用,你會發現基本原理仍然相同,其實最終都是為了解決問題而出現的。由於對資料資產的缺乏管理,各種各樣的問題開始出現。管理後設資料並將它們對映到流程、資產、策略和人員中可以為資料資產提供整體概覽和語義。這不僅有助於管理層做出明智的決定,還有助於業務和 技術掌握資料的核心並保持控制。後設資料管理對於風險管理也非常重要,可以幫助最大限度地減少風險,滿足合規要求。
後設資料管理並不是什麼新鮮事。在很久以前,後設資料管理就一直透過文件和電子表格的形式進行著。有的公司可能正在這樣做,但不知道它如何為公司正在進行的所有資料工作帶來價值。隨著各種各樣資料目錄,資料地圖,後設資料管理平臺的出現,很多商業案例大篇幅的宣傳它們的作用,但是它們到底能不能解決實際問題還不得而知。如何開始呢?我們可以從中選擇一併在其之上慢慢構建,也可以自研。但是第一步,我建議是從後設資料管理開始,這是一個很好的開始方式。在後設資料管理中,就要開始考慮使用元模型的方案。在管理業務後設資料和技術後設資料方面存在許多挑戰,在這種情況下,統一的元模型可以提供很大幫助。元模型可以為所有資料管理計劃帶來很多價值。它不僅有助於以結構化方式管理您的後設資料,而且還充當將後設資料共享給應用程式和流程的來源。
如果你還沒有開始後設資料管理的工作,就從統一元模型開始吧!
統一元模型
所有的資料目錄都應該有一個統一的元模型,一些是關係型的,一些是非關係型的。但在概念層面,它們都代表相同的實體。諸如資料集、資料表、資料欄位、資料系統、應用程式、分類、業務術語表、資料血緣之類的東西,還有很多很多。因此,建立自己的元模型以按照您想要的方式儲存後設資料是非常必要的。這對於將後設資料處理到集中的資料目錄或其他模組需要的介面非常有用。定製模型可以與資料資產盤點並行工作。對於業務後設資料,以系統的方式儲存所有後設資料而不是維護電子表格也非常有必要。
只是為了說明問題,我準備了一個概念模型來儲存技術後設資料。
上述元模型還為開發者社群提供了一個框架來構建支援後設資料、資料血緣等的應用程式。您可以使用業務後設資料對其進行擴充套件以進一步豐富。
上述模型具有資料發現、資料治理、資料分類、資料隱私、資料血緣等功能所需的元件。
元模型的優點是什麼:
端到端檢視:您可以建立所有資產的知識地圖,並充分了解業務流程或實體如何與 IT 系統相關聯。例如:當一個應用程式按計劃執行時,必須有一個作業用於計劃執行,該作業負責建立建立一些業務價值所需的資料集。
易於整合:如果您的組織擁有許多應用程式、技術、自定義流程,這也是一個優勢,使用目錄來解決它們非常困難並且需要良好的元模型。您可以從應用程式開發掛鉤以將資料推送到此模型。
後設資料管理:元模型提供了管理後設資料的框架,您實際上可以選擇或遷移到您選擇的目錄。元模型可以作為事實的單一版本。
版本控制:透過後設資料版本控制,您可以進行時間回溯以瞭解過去發生的事情,並將資料用於監管報告或管理報告。
有什麼缺點?
當然,這種設計並不是完美的,要確定元模型的範圍並確定您需要其中的哪些屬性需要付出很多努力。您需要確定需要儲存的後設資料粒度級別(業務、技術、運營)。您需要確保您的應用程式能夠將所需的後設資料推送到此模型。最後但並非最不重要的一點是預算和時間,您需要在這些舉措上投入大量資金和時間。
來自 “ 大資料流動 ”, 原文作者:獨孤風;原文連結:https://mp.weixin.qq.com/s/YYMJ-VkmUlEXaIyYz3AcOw,如有侵權,請聯絡管理員刪除。
相關文章
- 為什麼一些機器學習模型需要對資料進行歸一化?機器學習模型
- 為什麼公司需要專業的測試資料管理?
- 為什麼需要資料治理
- 我們為什麼需要API管理系統?API
- 為什麼你需要更精準的資料?
- 企業為什麼需要一套採購管理系統?
- 為什麼企業需要建設SRM供應商管理系統?
- 為什麼需要大資料安全分析?大資料
- 企業為什麼需要CRM客戶管理系統
- 深度學習為什麼需要那麼多的資料?深度學習
- 為什麼 Django 後臺管理系統那麼“醜”?Django
- 傳統IDC為什麼需要配備智慧管理系統?
- 為什麼需要DTO(資料傳輸物件)物件
- 你需要知道什麼才能成為系統管理員?
- 為什麼我們需要資料庫事務資料庫
- 資料湖架構,為什麼需要“湖加速”?架構
- 資料血緣系列(1)—— 為什麼需要資料血緣?
- 為什麼DBA需要資料庫廠商的資料庫概念文件資料庫
- 公司為什麼需要建立一套統一的開發框架?框架
- 星環科技TDH8.0 使用必讀 :為什麼你需要存算解耦的多模型資料管理平臺解耦模型
- 面試官:為什麼需要Java記憶體模型?面試Java記憶體模型
- 分析為什麼企業需要Zoho Projects的文件管理系統軟體?Project
- CRM管理系統實施完成後,企業還需要做什麼?
- mysql中什麼是後設資料?MySql
- 什麼是後設資料(Metadata)?
- 資訊化為什麼需要專案管理?(轉)專案管理
- 為什麼要用大家熟知的設計模型模型
- ajax為什麼需要json格式響應資料?JSON
- 資料庫產業為什麼需要規模效應資料庫產業
- 企業為什麼需要CRM系統
- 為什麼電子郵件需要零信任安全模型?模型
- 為什麼Spark將成為資料科學家的統一平臺Spark資料科學
- 為什麼資料資產管理首先從頂層設計開始
- 為什麼需要Docker?Docker
- 為什麼管理伺服器需要控制皮膚?伺服器
- 為什麼醫療行業需要精益管理行業
- 醫學影像AI為什麼需要小資料學習?AI
- 成為一名大資料工程師,需要具備什麼技能?大資料工程師