鋼鐵行業資料治理架構建設實踐!
引言
中國寶武鋼鐵集團有限公司(簡稱“中國寶武”)是一家以鋼鐵行業為主、多行業為輔多元化發展的企業,旗下分子公司遍佈全國,各自擁有海量的資料。其資料以鋼鐵或相關生產、管理資料為主,在傳統鋼鐵領域內的L1—L5的架構中,生產資料以金字塔形分佈,資料之間關聯不多,資料統一化程度弱。各子公司資訊化系統繁多,相互之間層級關係複雜,關聯關係交錯,層次關係不分明,相互引用情況時有發生,且又有不少系統孤島形式存在,資料標準化程度很低,導致資料相互使用起來難度大,查詢困難,難以發揮價值。因此迫切需要一個可解決這些難點的方法,面對這些難點,以資料標準體系為核心的的資料治理架構應運而生。
2 資料治理架構建設
2.1 資料治理理論基礎
資料治理在國外有著較為成熟的模型、體系,例如資料管理成熟度模型(DMM)、DAMA體系等。國內公認資料治理模型——資料管理能力成熟度評估模型(簡稱“DCMM”),於2018年正式釋出,成為中國寶武開展資料治理的理論基礎。
DCMM模型由8個資料管理能力域組成,它為廣義的資料治理工作劃定了範圍。但模型本身無法直接落地,需要企業自行構建適合自己的資料治理架構,明確資料管理具體執行方法,把數字化轉型工作落到實處。
2.2 鋼鐵行業資料治理架構
資料治理在鋼鐵行業的大資料中心全面應用還屬於初級階段。中國寶武逐步開展數字化轉型,初建資料治理規範體系解決如何用好資料的問題,必須著力於一個核心焦點。中國寶武選擇了核心資料管理能力域:資料標準作為資料治理核心。以資料標準為主線,將之作為資料架構、使用的基礎,同時將後設資料結構標準化,將它們貫穿資料生存週期始終,形成資料治理架構的主體,輔以資料質量和資料安全,形成完整的中國寶武資料治理架構如圖1所示。
.
圖 1 以資料標準體系為核心的資料治理架構
中國寶武第一階段選擇治理的資料標準包括:業務術語標準、資料元標準、指標標準、維度標準、資料分類標準、資料分層標準。
2.3 鋼鐵行業資料治理核心
DCMM模型中,資料標準能力域包括4項子域,分別為:業務術語、參考資料和主資料、資料元、指標資料。中國寶武大資料中心施行的資料標準在此基礎上進行了大幅修改,現階段不僅設立了業務術語、資料元、指標資料標準,而且將這3個標準的範圍進行適當修改容納更多的標準內容,還將其他可標準化管理的內容一律用資料標準的方式進行管理,最終形成適合鋼鐵行業使用的資料標準體系。
(1)擴充套件業務術語,形成術語標準和字根標準。中國寶武大資料中心資料標準將DCMM的業務術語標準範圍擴大,形成術語標準。術語標準中涵蓋了業務術語、技術術語、管理術語及通用術語4類術語,術語標準分別收集了各門類下的國標、行標、集團內部自定義的術語及術語描述。在集團內部建立大資料相關統一的語義,確保達成一致的認知,降低因理解差異和被相互理解錯誤導致的風險。在業務術語、技術術語的基礎上,還形成了字根標準。字根標準不僅規範了中文詞語、短句的定義,還在語義理解、英語定義,尤其是英語縮略語定義上進行了標準化,含義一致或接近的物件都統一使用一個英語縮略語進行定義。此類標準是基礎標準,成為大資料中心內首批建成的資料標準。
(2)依託字根標準,形成資料元標準。資料元可用獨立定義的方式標準化,但是中國寶武大資料中心建有字根標準,可使用字根標準,讓字根成為資料元標準的原子,根據使用者的需求,排列組合成資料元標準。這樣形成的資料元標準更規範、更精確,減少語義重複語義相近導致的資料元數量爆發的情況。
(3)結合指標標準和維度標準。中國寶武大資料中心使用維度建模方式,與DCMM融合,建立了完整的指標標準和維度標準。首先,將指標分為技術指標和業務指標兩大類,每一類都可分為:原子指標、派生指標和複合指標。其次,把所有指標進行拆分,提取出不可拆分的有業務含義的指標定義成原子指標。然後用維度對指標進行限定,組合成派生指標,或者對原子、派生指標進行計算,形成複合指標。這些指標將成為大資料中心的核心價值。
(4)建立資料分類標準。在識別出資料核心價值之後,需要解決如何讓使用者使用資料的問題,需要一種辦法讓使用者輕易找到想要的資料。針對這個需求,制定了資料分類標準,用分類的方式展示資料資產。資料分類方式可以有多種,歸根結底都是將擁有近似屬性或特徵的資料歸攏到一個分類中,各分類之間相互獨立。按使用者角度,資料可按業務領域分類,可按工藝流程、組織機構分類。預設可用一種方式展示資料,其他的型別供候選。
(5)建立統一的參考資料和主資料標準。中國寶武內部子公司曾建有程式碼管理系統,管理了生產過程中的工藝程式碼,但是這些程式碼相互之間不統一,需要一個統一的參考資料標準將它們統一化。以往的程式碼系統中管理的程式碼範圍較小,難以滿足資料建設的需要,所以擴大範圍建成統一的參考資料標準成了資料標準化過程中“排頭兵”。主資料管理的範圍特別大,資料中心建設初期不建議大規模鋪開,出具規則由各業務系統自行管理。
(6)其他資料標準。可標準化的資料種類非常多,為適應鋼鐵行業的資料特徵,還建立了資料分層標準、質量標準、業務板塊標準、缺陷標準等多種型別的標準。
2.4 資料治理架構整合
在資料標準體系建設外,中國寶武還引用了其他能力域。後設資料管理是資料管理的重要能力之一,中國寶武為各類資料標準分別建立對應的後設資料標準,形成統一的資料字典,建立了資料標準管理的結構體系,確保了資料標準統一規劃。
在以資料標準為主線,後設資料與資料標準結合為資料治理主體的資料治理架構構建中,還需要結合資料架構、資料質量、資料安全、資料生存週期、資料應用等其他能力,搭建成完整的符合鋼鐵行業需求的資料治理規範體系,為鋼鐵行業大資料中心建設和資料治理邁出堅實的一步。
3 結語
隨著大資料時代的發展和進步,企業數字化轉型已經變得越來越重要。不同的行業都在逐步根據自身發展的需求推進資料治理的程式。中國寶武在以資料標準體系為核心的大資料中心建設及資料治理工作上取得一定的進展,透過了DCMM4級評審,在資料標準化、賦能業務發展、提升資料價值上也獲得了初步的成效。中國寶武的經驗可成為鋼鐵行業的標杆做法,能夠發揮大企業引領支撐作用,不僅在集團內部使用,也可與其他鋼企共建共享,甚至可以與上下游企業連通,共建立體的數字化鋼鐵生態圈。
來自 “ 談資料 ”, 原文作者:戴駿煒、李倩;原文連結:https://mp.weixin.qq.com/s/YhyazouKHiQ4pCMHqOT5Tw,如有侵權,請聯絡管理員刪除。
相關文章
- 資料治理實踐:後設資料管理架構的演變架構
- 2萬字揭秘阿里資料治理建設實踐阿里
- 螞蟻金服資料質量治理架構與實踐架構
- B站運維數倉建設和資料治理實踐運維
- 資料治理之後設資料管理實踐
- 中國鋼鐵工業協會:2023年鋼鐵行業經濟執行報告行業
- 實時資料架構體系建設指南架構
- 鋼鐵三廢數字治理,助力打造綠色鋼廠
- 美創科技四個行業資料安全治理實踐案例行業
- 資料安全治理體系如何建?看頭部銀行最佳實踐
- 銀行業信創架構設計規劃及實踐 | 架構進階行業架構
- 美團酒旅起源資料治理平臺的建設與實踐
- 濤思資料與中天鋼鐵簽署戰略合作協議,加速鋼鐵行業的數字化發展協議行業
- 銀行基於雲原生架構的 DevOps 建設實踐經驗架構dev
- 中國鋼鐵工業協會:2021年中國鋼鐵行業經濟執行報告行業
- 中國鋼鐵工業協會:2020年中國鋼鐵行業經濟執行報告行業
- Nebula Graph 在微眾銀行資料治理業務的實踐
- 資料中臺:資料服務的架構設計實踐架構
- 資料治理與資料中臺架構架構
- 中小銀行資料倉儲建設 | 最佳實踐
- 資料架構建設方法及案例架構
- 資料治理體系建設
- 大型集團企業資料治理實踐,推進全域資料資產體系建設 | 數字化標杆
- 資料治理:資料整合架構的演進架構
- 資料治理實踐 | 網易某業務線的計算資源治理
- 新核心業務系統資料架構規劃與資料治理架構
- 商業銀行基於容器雲的分散式資料庫架構設計與創新實踐分散式資料庫架構
- 啟用資料價值,探究DataOps下的資料架構及其實踐丨DTVision開發治理篇架構
- 業務資料治理體系化思考與實踐
- 視訊:豆瓣資料架構實踐DX架構
- 美團實時數倉架構演進與建設實踐架構
- 美團配送資料治理實踐
- 剖析多利熊業務如何基於分散式架構實踐穩定性建設分散式架構
- 數商雲鋼鐵行業採購管理系統 助力鋼鐵企業線上競價、陽光采購行業
- 多利熊基於分散式架構實踐穩定性建設分散式架構
- 鋼鐵工藝視覺化 Sovit3D構建智慧鋼鐵廠三維數字孿生系統視覺化3D
- 作業幫多雲架構設計與實踐架構
- 美圖大資料平臺架構實踐大資料架構