全國首個資料中臺後設資料標準

qing_yun發表於2022-07-08

中臺概念,2015年誕生,2019年爆火,在最火的時候被很多人當成了“無所不能”的“萬能藥”,只要是IT的問題,就一個藥方——上“中臺”!於是乎,很多企業都爭先恐後,紛紛走上了上中臺的路。

但似乎“好景”不長,2019年末“中臺”的大潮還未退卻,就已經傳出了對中臺的質疑聲——“中臺,我信了你的邪!”。到了2020年對中臺的質疑、唱衰、乃至討伐的聲音更是此起彼伏,中臺似乎徹底跌下了“神壇”。

而作為眾多“中臺”核心成員之一的“資料中臺”,似乎成了“中臺”家族的最頑強的那個,在經歷過“追捧”和“質疑”等種種考驗後,資料中臺正在用事實驗證其價值!

01 關於資料中臺

資料中臺可以看作是資料的“公共服務平臺”,即通過資料技術,對海量資料進行採集、計算、儲存、加工,同時統一標準和口徑,形成標準資料,再進行儲存,形成大資料資產層,進而為客戶提供高效服務。

在筆者看來,資料中臺最重要的不是中臺而是資料,但“純粹”的源資料嚴格來說還也不是資料中臺的一部分,需要將其加工、處理、標準化形成資料服務和資料產品,而這一過程中,離不開後設資料的支撐。後設資料——是資料中臺的靈魂。

02 關於後設資料

後設資料(Metadata),後設資料是關於資料的組織、資料域及其關係的資訊,簡言之,後設資料就是描述資料的資料。

後設資料與資料的不同之處在於後設資料描述的不是特定的例項或記錄,IT和業務都需要高質量的後設資料來理解現有資料。後設資料是一種資料型別,以數字方式描述企業的資料,流程,應用程式,資產,業務概念和或其他感興趣的事物的人員,時間,地點,原因以及方式,後設資料為企業數字資產的內容提供了上下文。更簡單的說,後設資料是對資料的結構化描述,使得資料更容易理解、查詢、管理和使用。

我們也可以用5W1H模型來理解後設資料:

03 後設資料分類

根據資料的性質特點,業內一般將後設資料劃分為三類:業務後設資料、技術後設資料和操作後設資料。

業務後設資料是描述資料的業務含義、業務規則等。通過明確業務後設資料讓人們更容易理解和使用業務後設資料,後設資料消除了資料二義性,讓人們對資料有一致的認證,避免“各說自話”,進而為資料分析和應用提供支撐。常見的業務後設資料包括:業務定義、業務術語、業務規則、業務指標等。

技術後設資料是對資料的結構化,方便計算機或資料庫之間對資料進行識別、儲存、傳輸和交換。技術後設資料可以服務於開發人員,讓開發人員對資料的儲存、結構更明確,從而為應用的開發和系統的整合奠定基礎。技術後設資料也可服務於業務人員,通過後設資料理清資料關係,讓業務人員能夠更快速的找到想要的資料,進而對資料的來源去向進行分析,支援資料血緣追溯和影響分析。常見的技術後設資料包括:儲存位置、資料模型、資料庫表、欄位長度、欄位型別、ETL指令碼、SQL指令碼、介面程式、資料關係等。

操作後設資料描述了資料的操作屬性,包括管理部門、管理責任人等,通過明確管理屬性,有利於資料管理責任到部門和個人,是資料安全管理的基礎。常見的操作後設資料包括:資料所有者、資料質量定責、資料安全等級、資料訪問許可權,資料處理作業的結果等。

04 資料中臺後設資料標準

以上我們回顧了資料中臺和後設資料的相關概念,接下來我們重點介紹下這份標準。

《資料中臺 後設資料規範》是由浙江省標準化研究院支撐、杭州玳數科技有限公司牽頭起草的全國首個 《資料中臺 後設資料規範》團體標準正式批准釋出,該標準作為我國資料中臺領域第一個團體標準,填補了國內資料中臺後設資料的標準空白。

該標準通過了來自浙江大學、浙江省數字化與設計製造創新中心、阿里雲等行業內專家評審,為推動數字行業標準化提供了樣板,填補了我國資料中臺後設資料標準空白,也為困擾行業多年的“資料孤島”問題找到了解決之道。

該標準規定了資料中臺後設資料的元模型、描述方法、擴充套件要求、校驗等,適用於資料中臺的資料集編目、建庫以及資料交換、資料整合等。本標準的釋出和實施,將為有關企業、部門建設資料中臺提供支撐,實現資料互聯互通、資源協調,打破“資料孤島”,充分發揮各類資料價值,助力浙江數字經濟高質量發展。

注:文中部分內容來自作者的新書《一本書講透資料治理》,機械工業出版社

來自 “ 談資料 ”, 原文作者:石秀峰;原文連結:https://mp.weixin.qq.com/s/lO8kKu12dpOoF5BRM5l0Uw,如有侵權,請聯絡管理員刪除。

相關文章