從0到1,資料治理一週年大紀實
在長達近18年的資料生涯中,自己一直從事資料倉儲相關工作,去年一次偶然的機會開始做企業資料治理,現在相關工作逐步進入正軌。值此一週年之際,記錄下自己做資料治理的22個關鍵事件,也許對大家也有啟示吧。
2021年8月19日:做事的時機
公司在大資料方面的推進一直是比較快的,18年前剛進公司的時候就建設了資料倉儲,8年建成了大資料平臺,6年前成立了大資料中心,現在資料變現的規模已經不小。
沒有公司數字化轉型的這個背景,也許自己會一直幹資料倉儲和資料產品,幹到退休也不奇怪,雖然在做資料倉儲的時候也會涉及到一些資料治理的工作,但其實幹的大都是資料倉儲最佳化工作,即使有一些建章立制,也基本是以IT和本部門為主,跟其他部門沒多大關係,但會認為自己當前做的資料工作對公司很重要。
2021年8月自己接收到了一個規劃課題:《全域價值資料高效匯通與開放專題》,公司要求在 在數字化轉型的背景下,系統化 思考如何促進數 據要素在公司生產流程中的高效流通,從而發揮出資料的乘數作用、倍增作用。
雖然自己後來去做企業資料治理跟這個規劃沒直接關係,但卻預示了一種趨勢,即在公司數字化轉型和資料成為新的生產要素的背景下,推動資料要素的高效流動已經是公司戰略性的工作。
企業資料治理要乾的事情,在2012年DAMA出版的《DAMA資料管理的知識體系和指南》書中已有論述,但那個時候幾乎沒有人會真的會去幹企業級資料治理的事情,因為大資料才剛剛起步,時機並不成熟。
2021年11月8日:突發的任務
2021年公司數字化轉型的步伐加快,這天部門BOSS找到我,希望研究下華為的資料治理之道,然後跟大老闆彙報下我們的思路,當時我就在想,也許公司認為做企業資料治理的時機到了,畢竟資料是數字化轉型的基礎。
雖然自己做了很長時間的資料工作,對於資料治理也有所瞭解,《華為資料之道》這本書之前自己也讀過,還寫過一些讀書筆記,但接到任務的時候還是一臉懵逼,不知道從何下手。
從書中學到的那些資料治理的知識,寫寫文章談談感想還行,但真要學以致用,還是不夠看的,特別是給公司提建議,當時自己的第一反應是覺得這麼大個事情似乎是諮詢公司該乾的事情, 但接收到了任務就要全力以赴。
2021年11月9日:猴子的救兵
部門BOSS理解做這個事情的挑戰,邀請了華為的王老師(華為資料之道的作者之一)下週過來交流,因為我們對華為資料之道還是有很多的困惑,比如領域責任人的設定問題,初期投入的人財物問題等等。
我把自己能找到的人員也找齊了,有自己團隊的,也有合作伙伴的,大概6-7個人,然後扔給大家一本書《華為資料之道》,約好第二天進行討論。
當時沒有找求助其它行業的資料治理專家,一方面覺得在這麼短的時間內要讓外部專家迅速瞭解公司的情況不現實,另一方面認為公司自己的資料團隊更適合來做這個事情,畢竟是要落地的,對於做資料的邊界我還是有清晰的認識,哪些應該自己做,哪些可以找人幫忙。
做好了這些準備,我當然也不能閒著, 因為自己的大腦才是最大的救兵 ,因此找了幾本資料治理的書溫習了一下,然後就在那邊擬定討論提綱,希望形成一個雛形的東西。
在之後的一個月,思考企業資料治理這個事情成為了我的主要工作。
2021年11月10日:草擬的提綱
我把自己關在辦公室,有了靈感就在EXCEL上碼幾個字,開始的時候想的很零碎,大家可以看下:
然後慢慢有了脈絡,寫出了初步的提綱,如下示例:
“經過多年探索,我們已經具備了.......
挑戰:P1
1、 組織:當前公司已經建立了初步的資料匯通機制和流程,但隨著公司數字化轉型開展,對於資料匯通的時效性要求大幅提升,但當前資料匯通還是存線上下溝通協調多,事前審批流程多,資料開放缺乏仲裁組織機制保障,導致資料匯通存在諸多卡點斷點,比如,,已經不適應數字化專項發展需要
2、機制:各個部門隊企業級資料匯通重要性認知不足,驅動力不足,匯通任務主要落在各部門資料專員身上,解決問題的閉環,但推進上不夠迅速,各部門領導對需要承擔的資料匯通職責缺乏認知,資料匯通缺乏獎懲機制
3、技術:不統一影響效率,各個部門對自身的資料缺乏管理方法,資訊架構缺失,無論是資料資產目錄,資料標準,資訊架構等資訊不全,導致外部門對資料擁有者的資料缺乏認識,也難以提出有效的需求,同時資料語言不統一,導致資料匯通的溝通成本很高(管理方式和方法不透明,不統一,缺乏標準,資料溝通拉通溝通成本高)
4、開放:缺乏資料安全開放的分層分級的管理方法,針對哪些部門,哪些地市,可以開放哪些粒度的資料現在還不明確,資料owner要能提供開放和白開放清單列表,完全開放,限制開放,不開放,相關流程也沒有
1、缺乏資料匯通頂層設計,資料owner等等,大家對於資料匯通認識高度不高,跨部門資料匯通還存在卡點,
2、匯通流程和職責不清晰,特別是問題處理流程缺失,導致匯通不夠
3、資料匯通標準不清晰,導致資料匯通質量無法保障
4、缺乏需求時限承諾,要求和執行還是會脫節
總綱:P2
1、 資訊架構管理原則
(1)建立企業級資訊架構,統一資料語言,比如任何一個資料都能查到唯一的標準的定義
(2)所有專案須遵從資料管控要求。對於不遵從管控要求的專案資料管控組織擁有一票否決權,比如任何新建系統都要提供資料字典,並上報公司資料管控組織進行入湖
2、資料產生管理原則
(1)誰產生資料,誰對資料質量負責。資料Owner負責基於使用要求制定資料質量標準,且須徵得關鍵使用部門的同意
(2)公司資料Owner擁有公司資料管理的最高決策權,各領域資料Owner承擔資料工作路標、資訊架構、資料責任機制和資料質量的管理責任,資料owner建議參考華為由公司指定一名管理者
3、資料應用管理原則
(1)資料應在滿足必要的資訊保安的前提下充分共享,資料產生部門不得拒絕或延緩跨領域的的資料匯通需求,比如未經公司資料Owner同意不設定匯通前置流程
(2)資訊披露、資料安全管理、資料保管和個人資料隱私保
護等必須遵守法律法規和道德規範的要求
4、資料問責與獎懲管理原則
各資料Owner應建立資料問題回溯和獎懲機制,對拒絕開放共享,不遵從資訊架構,存在嚴重資料質量問題的責任人進行問責
組織:P3-P4
1、任命資料owner
公司資料owner X總
領域資料owner,一般各流域的流程owner就是該領域的資料owner
各層級owner的職責
2、最佳化公司資料管理組織
分層分級任命資料Owner,既能確保公司資料工作統籌規劃,也能同時兼顧各業務領域靈活多變的特徵
組織架構圖
公司資料Owner
網路部資料Owner,市場部資料Owner,政企部資料Owner,整合部資料Owner,財務部資料Owner
網路部資料管理組織(實體或團隊,資料專員)
相關職責,明確清楚彙報關係
流程:P5
跨部門資料匯通流程
需求提出-》公司資料管理組織(大資料中心)-》XX部資料管理組織
大資料中心根據
應給勁給原則,如果XX部有疑問,向部門資料Owner彙報,由部門資料Owner向公司Owner部門同意後,方可拒絕採集需求
標準:P6
X項標準
為了推進資料的主動匯聚,確保確保資料匯聚的質量,對於資料提供者資料提供有以下四大標準
(1)源端資料資產目錄自動維護,標準化,各部門定期提供資料資產目錄,分層架構(6個要素,資料owner,定義資料密級,。。。。)
(2)資料來源統一,確保一致性,防止多頭採集(資料同源是華為資料治理的核心觀點之一。資料來源是指業務上首次正式釋出某項資料的應用系統,經過資料管理專業組織認證,作為唯一資料來源頭被周邊系統呼叫)
(3)資料來源質量限期整改負責,限期整改,誰生成,誰負責
SLA:P7華為資料之道三個1承諾"
第二天,我就拿著這個提綱跟大家討論去了。
2021年11月11日:共同的研討
我們幾個人關在辦公室,對著大屏討論了一天,碰撞出了不少內容, 組織討論是必須的,不僅是為了觸發思考,也是一個形成共識的過程,這裡僅舉2例:
第一、對於公司現狀沒有分析清楚,準備補充如下內容:
“經過多年探索和實踐,我們初步完成了OBM三域資料的打通,當前匯通的系統數超過XX個,資料資產數量超過7000個,但隨著公司數字化轉型的加快,作為基礎要素的資料,還是存在找不到、看不懂、不準確、不及時等問題,特別是在跨域流程貫通上存在諸多卡點斷點,迫切需要尋找新的解決辦法......"
第二、對於資料管理總綱的必要性沒分析清楚,準備補充如下內容:
“成為公司級的綱領,政府的一些內容整合,三清單一目錄,400個字,花了一年資料是公司的戰略資產,達成共識,不是你個人或部門的資料,所有資料必需有唯一的Owner,所有的資料必需從源頭去取數,IT,資料來源,可信源頭,做成資料服務也從未源......"
2021年11月13日:華為的幫助
與華為公司的王老師做了更深入的探討,王老師將華為資料之道的精髓總結為10個要點,這給我們帶來了很大啟示。
要點1:資料治理要上下一致、左右對齊,業務主導,需要有頂層設計,在決策層/管理層形成共識,比如資料是公司的戰略資產,不是部門的私有資產
要點2:以業務物件為核心(比如客戶合同),形成清晰的資料資產目錄,圍繞業務物件開展治理
要點3:對準公司主業務流開展業務物件識別等治理工作
要點4:資料治理工作要例行開展,以資料治理流程與例行化,應對數字化常態化,不搞運動,紮實落地
要點5:資料治理要落實到每個具體責任部門與責任人,形成資料Owner制度;同時打造一支懂業務、懂技術的專業資料隊伍
要點6:資料質量從業務源頭抓起,好的資料質量從設計與執行兩個維度開展
要點7:管理規則在統一治理平臺落地
要點8:以使用者/業務需求驅動,主張各領域資料消費百花齊放
要點9:各領域資料入湖、聯接與服務建設,由各領域負責建設,滿足公司各領域資料消費訴求
要點10:公司統一制定資料可信共享規則與平臺,統籌各業務領域協同完成資料共建共享
2021年11月16日:初稿的形成
由於不知道什麼時候彙報,為了未雨綢繆,我們啟動了PPT的撰寫,PPT其實也是一種很好的提煉思路的方法,如下所示,很多內容後來做了大幅修改:
P0 存在問題
資料是數字化的基礎,隨著公司數字化轉型的加快,對於資料要素高效融通配置,釋放資料生產資料更大價值提出了更高要求,雖然公司已經完成了企業級大資料平臺的建設,初步實現了三域資料的匯通,但當前企業級的資料治理體系還未建立,在公司數字化運營中逐步暴露出了資料盤點不足(比如O域流程管理資料還缺乏體系化盤點)、資料質量不高(比如資管中農村的寬頻資源點位置資訊失真,抽樣準確度XX%)、資料匯通不暢(比如流程攻堅中政企投訴處理工單資料的採集耗時2個月)、資料開放不夠(比如詳單,位置等涉敏資料由於安全管控要求還無法向一線開放)等問題,迫切需要完善公司的企業級資料治理體系,從而為公司的數字化轉型保駕護航 .
P1 企業級資料綜合治理面臨的挑戰
經過多年探索和實踐,我們初步完成了OBM三域資料的打通,當前匯通的系統數超過XX個,資料資產數量超過7000個,但隨著公司數字化轉型的加快,作為基礎要素的資料,還是存在找不到、看不懂、不準確、不及時等問題,存在上還存在諸多卡點斷點,主要體現在四個方面的挑戰......。
P2 華為的企業級資料治理最佳實踐
華為公司經過十多年的實踐,構築了一套企業級的資料綜合治理體系,其透過七個方面的舉措,確保了關鍵資料資產有清晰的業務管理責任,IT建設有穩定的原則和依據,作業人員有規範的流程和指導;當面臨爭議時,有裁決機構和升級處理機制;治理過程所需的人才、組織、預算有充足的保障,最終建立有效的資料治理環境,資料的質量和安全得到保障,資料的價值才能真正發揮出來。
P3 制定企業級資料管理總綱
資料治理政策是資料治理的頂層設計,明確企業資料治理最基本的原則,包括資訊架構、資料產生、資料應用及資料質量的職責和分工,從而確保企業資料治理環境的有效構建。參考華為公司資料管理綱要,結合公司的實際,這裡給出浙江公司的企業級資料管理總綱建議,共四類八條400個字
P4 任命資料owner
企業的每一個資料,必須由對應的業務部門承擔管理責任,而且必須有唯一的資料Owner,這也是華為在資料治理上最為寶貴的一條經驗,是資料治理體系能夠發揮作用的基石。需要按分層分級原則任命資料Owner,在公司層面設定公司資料Owner,在各業務領域設定領域資料Owner,這樣既能確保公司資料工作統籌規劃,也能同時兼顧各業務領域靈活多變的特徵。公司資料Owner是公司資料戰略的制定者、資料文化的營造者、資料資產的所有者和資料爭議的裁決者,擁有公司資料日常管理的最高決策權。領域資料Owner包括業務域和中臺域兩種型別的資料Owner,在公司資料Owner的統籌下負責所域的資料管理體系的建設和最佳化,保證資料質量。
P5 完善公司資料管理組織
支撐公司實施資料治理,進一步明確大資料中心作為公司級資料管理組織的相關職能,包括代表公司制定資料管理相關的政策、流程、方法和支撐系統,制定公司資料管理的戰略規劃和年度計劃並監控落實。建立並維護企業資訊架構,監控資料質量,披露重大資料問題,建立專業任職資格管理體系,提升企業資料管理能力,推動企業資料文化的建立和傳播。為落實公司制定的資料管理目標,建議在各業務領域要建立實體化的資料管理專業組織。實線向領域資料Owner彙報,承接並落實本領域的資料管理責任;虛線向公司資料管理組織彙報,遵從公司統一的資料管理政策、流程和規則要求。組織架構圖。
P6 打造企業級後設資料管理體系
公司資料主要來源於BOMS領域,涉及的源端業務系統超過千個,欄位數超過X萬個,為了能高效的使用這些資料資產,必需要像管理財務科目資料一樣進行管理,包括對這些資料進行定位、分類、描述和溯源,解決資料找得到,看得懂,能使用等問題,這個極大依賴於企業級後設資料管理體系的建立,主要包括四個方面的工作,先期可以實現1和2,後續再考慮實現3和4,逐步演進:
1、打造企業資料資產目錄:各領域資料Owner需要提供所屬域的資料資產目錄,透過分層架構表達對資料的分類和定義,理清資料資產,可以貼示意圖
2、構建企業級資料標準:定義資料的描述規範,這是公司層面需共同遵守的資料含義和業務規則,是公司層面對某個資料的共同理解,這些理解一旦確定下來,應作為企業層面的標準在企業內被共同遵守,比如公司合同編號,需要明確編號的位數、具體的編碼規則等,一旦合同編號資料標準制訂下來,那麼整個公司所有業務部門都必須共同遵守。,可以貼示意圖
3、釋出企業級資料模型:透過E-R建模實現對源端系統資料及關係的描述,用於指導後續的資料開發
4、明確企業級資料分佈:要展現源端資料在業務流程和IT系統系統上流動的全景檢視,這樣可以識別資料的來龍去脈,成為定位資料問題的導航基於公司的客觀實際,需要各領域資料Owner儘快完善後設資料管理體系。
P7 推進源端資料質量提升
“Garbage in Garbage out(垃圾進,垃圾出)”當前公司資料來源涉及的涉及業務系統超過百個,欄位數超過XX個,匯通資料涉及的處理環節多,流轉環節多,從而產生較為嚴重的資料質量問題,影響到數字化轉型工作的順利開展,比如由於資管中XXX資源點位置資訊失真,導致當無法基於資料來準確評估資源覆蓋率。但資料質量不是追求100%,而是從資料使用者的角度定義,滿足業務、使用者需要的資料即為“好”資料,有所為有所不為,因此需要重點加強三個方面的工作......。
P8 建立資料治理協同機制
資料提供者,資料消費者,資料管理者
流程:三同步流程,133
跨部門資料匯通流程
需求提出-》公司資料管理組織(大資料中心)-》XX部資料管理組織
大資料中心根據應給盡給原則,如果XX部有疑問,向部門資料Owner彙報,由部門資料Owner向公司Owner部門同意後,方可拒絕採集需求
P9:提升資料開放水平
要進一步推進資料開放能力提升,在源端資料質量有基本保障,資料安全合規,流程合規的前提下,逐步達成“三個1“的資料開放整體目標,起點是需求方提出資料需求(審批透過),終點為需求方拿到資料並可立即進行消費,具體衡量標準包括如下:
1天:對於已釋出資料服務的場景,從需求提出到消費者透過服務獲取資料,在1天內完成。
1周:對於已進底座但無資料服務的場景,從需求提出到資料服務設計落地、消費者透過服務獲取資料,在1周內完成。
1月:對於已結構化但未進底座的場景,從需求提出到匯聚入湖、資料主題聯接、資料服務設計落地、消費者透過服務獲取資料,在1個月內完成。
2021年11月18日:老闆的彙報
幾天以後接到綜合部通知,需要向大老闆彙報企業資料治理體系的思路,那天大老闆帶著華為資料之道的書,跟我們討論了很多問題, 比如 什麼叫資訊架構 , 資料owner的內涵,主題連線是什麼,我們相較於華為的不同點等等。
關於設定領域資料owner,大老闆說有合理性, 畢竟外人不 大 可能比領域更有可能去理解自己的業務和資料,這個時候專業隊伍的建設就很有必要......。
大老闆對一些概念非常關注,要求務必界定清楚,比如當看到BOMS四個域資料的提法,就會問S域的確切含義是什麼,是按照組織分還是業務分,如果按照組織分,公司裡哪些部門的資料屬於S域資料等等。
下面是當時跟大老闆彙報中涉及華為實踐的1頁,大家可以看下:
2021年11月25日:公司務虛會
年底公司要開工作務虛會,探討明年的工作思路,公司給部門佈置的課題就是企業級資料治理體系建設思路,然後我們根據要求繼續完善思路和PPT,下面示例了其中的幾頁核心內容,這是第一次在公司大會上講述企業資料治理體系的建設思路。
這頁講了問題挑戰,後來發現還是分析的不夠透徹:
這頁講了組織的設想,後來對架構和職責按照實際需要做了大量調整:
這頁講了資料盤點和資料採集,現在看來內容還是比較空的,我們後來沒搞三張清單,而是打造三個資料目錄:
這頁講了資料開放,其實當時還沒想清楚具體怎麼做,就是覺得華為提的”三個1“ SLA承諾是很好的,因此先丟擲來:
2021年11月30日:落地的準備
企業資料治理的大致思路是提出來了,但那些都是紙面的東西,跟落地還差了老遠,比如關於組織、機制還是流程的變革,當時是完全沒底的,感覺暫時也做不了什麼,但關於企業資訊架構梳理、資料治理平臺建設等還是能開展一些前期的準備工作。
這幾年團隊一直在忙著做資料中臺、資料產品和資料變現,對於資料治理系統性的學習和實踐不多,整個團隊對資料治理的理解還是比較淺的,那段時間就忙著跟合作伙伴交流,一方面看看有沒有合適的外部資源,另一方面也想讓團隊成員抓緊時間瞭解資料治理的相關情況。
自己抽空重新溫習了《資料管理知識體系》、《DCMM-資料管理成熟度模型》、《資料資產管理實踐白皮書》、《資料標準管理實踐白皮書》等一些規範標準,買了最近幾年出版的一些資料治理的書補補課,包括《一本書講透資料治理:戰略、方法、工具與實踐》、《資料治理:工業企業數字化轉型之道》、《資料管理知識體系(第二版)》等等,書到用時方恨少總是真的。
2021年12月15日:最關鍵一役
果然沒幾天,我們就接到公司通知,要求儘快準備《企業級資料治理體系構建思路》的彙報材料,然後上公司決策會。
那段時間每天都在趕材料,跟各級領導彙報,然後再改,如此迴圈,記得上會前3個小時,還在跟老大過材料,最終方案上會透過,主要包括了四個方面的內容:
1、資料治理的背景:資料是一種新的生產要素,要充分激發資料要素對經濟社會的放大、疊加、倍增作用,需要重構資料生產關係,這有賴於資料治理體系的構建。
2、資料治理存在的問題:詳述了公司在資訊架構、資料貫通、資料記錄、資料開放面臨的挑戰,指出企業級資料治理體系構建的必要性。
3、資料治理體系的構建思路:提出了“5141”企業級資料治理體系框架,資料治理保障體系包括組織機制、規範標準、流程保障、安全保障、資訊架構、資料質量及後設資料管理等方面的內容。
4、資料治理體系的重要舉措:提出成立企業級資料治理委員會及辦公室,建立企業級資料治理日常推進機制,調整公司相關部門名稱和職責,比如 新增公司級的資料管理部,其它部門新增領域資料治理職責,構建資料治理保障基礎能力(制度、運營、平臺、開放等)等等。
會後,公司正式下文正式成立資料治理委員, 資料管理部從原組織剝離,承擔公司級資料治理相關職責。
2022年12月18日:領域責任制
為了推進資料治理工作能夠落地,就需要建立一支跨部門的資料治理隊伍,公司特別下文明確了各領域的具體資料責任人和資料治理專員。
領域職責包括但不限於對本領域所轄業務的IT系統資訊架構的構建管理,負責本領域的後設資料管理及主資料管理;負責本領域原始資料採集和匯通入湖;負責本領域資料質量管理等等。
直到這一天,公司資料治理的組織保障體系算建立起來了。
2021年12月22日:第一次聯席會
企業資料治理工作的推進主要是透過召開資料治理聯席會議的形式進行,當時召集了九個主要部門領域資料責任人和專員參會,第一次會議各個領域 對各自域的資料治理現狀進行了彙報,辦公室隨後針對各個領域佈置了工作,包括各領域系統與資料資產梳理、資料缺失情況梳理和分析、資料專項應用梳理等等。
辦公室要求公司資料責任人(即資料管理部)做好常態化支援,包括工作模板的梳理、專項培訓及日常輔導等等。
從這個會議開始,我認為公司的資料治理工作算真正起航了,因為終於可以協同各部門群策群力來解決一個公司級的資料治理問題,這是有重要意義的一天。
2022年1月5日:2022工作會
大老闆在工作報告中,用500字的篇幅對構建企業級資料治理體系進行了深入的闡述,包括頂層設計、組織保障、流程運營、IT支撐及資料安全等各個方面,這是前所未有的。
大老闆強調,企業資料治理達成共識很重要,大家要上下對齊,左右對齊, 在後續的部門協同中,能感覺到大家對於資料治理的重視程度提高了 。
2022年2月7日:第二次聯席會
各領域對前期工作進展情況進行了彙報,針對梳理過程中暴露出來的問題,辦公室進一步佈置了相關工作。包括:1)做好系統和資料表重要性的分類排序,補充完善後設資料等資訊;2)開展資料對內開放管理辦法的編制,進一步完善資料治理工具;3)開展公司XX主資料統一運營方案的制定;4)加強XX相關資料的引入。
相對於上一次會議,各領域對於資料治理的認識有了明顯提升,提出了不少很好的建議,比如資料字典看不懂問題,資料開放效率問題,某些重要資料缺失的問題等等,這些都在驅動著企業資料治理工作往前走。
2022年2月24日:團隊的最佳化
為了加強企業資料治理工作的支援,需要對資料管理部的組織架構進行最佳化調整,因此專門新增了資料治理組和綜合協調組,最佳化了資料服務組、技術運營組等等,各組的職責大致如下:
資料治理組 :負責頂層設計、建章立制、流程管理、主資料管理、資料匯通等等。
資料服務組 :負責資料中臺運營(含基礎和融合模型)和資料開放等等。
技術運營組 :負責資料工具鏈建設和運維保障。
綜合協同組 :負責綜合事務、外部協同、宣傳推廣、培訓競賽等等。
關於資料治理人員短缺問題,主要透過內部人員崗位最佳化調整的方式來臨時解決,原則就是要事為先,這幾年公司在大資料上的投入還是讓我們有了一定的騰挪空間。
2022年3月17日:資訊科技會
公司工作會後,IT部門會開自己條線的專業會議,在這個會議上各個地市及相關部門也會參加,我在這個會做了《構建企業資料治理體系,助力公司數智化轉型 》的專題發言,主要還是為了普及資料治理的概念,因為資料治理聽起來還是比較抽象,因此在問題裡舉了很多一線的案例,下面是一個示例:
2022年3月20日:目標的初定
我們的企業資料治理目標是在一次次的討論中逐步明確的,企業資料治理辦公室提供了大家共同討論和決策的機會。
比如A部門說公司還有大量的系統和資料資源沒有納管,B部門說 資料匯聚和開放還存在流程梗阻和不合理的規則,C部門說 某些核心業務物件缺乏統一管理 影響了業務開展等等。
以上這些問題 大多具有跨部門、跨系統和跨流程的特點,解決難度也很大,經過討論後,這些問題很多成為了企業資料治理的目標。
公司領導說要去做正確而難的事, 對於資料治理來講, 就是要去做 對於公司來講 全域性最優的事情,可能還會犧牲區域性利益。
2022年4月30日:全量的盤點
企業資料資源全量盤點是最先開始的工作,經過1個多月各領域的努力,收穫還是很大的,納管的系統提升了77%,納管的資料資源提升了100%,記得當初大資料平臺建設的時候,靠的是IT部門自己去盤點,新增資料納管的範圍和數量跟這次梳理還是有很大差距。
在這次盤點中,我們還輸出了資料盤點的方法論,推進了自動化盤點工具的建設,後續的盤點會實現自動化和常態化,如下所示:
2022年5月27日:資料的開放
公司資料對內開放面臨著各方職責不清晰、開放規則待明確,開放流程冗長且割裂,開放門戶待最佳化,缺乏開放運營等問題,導致跨域資料開放週期比較長,因此我們希望協同各個部門明確資料開放的原則,制定相關的最佳化舉措,建立起高效的對內資料開放管理體系,促進資料開放“三個1”目標的實現,在這個最佳化過程中同步輸出資料對內開放管理辦法。
雖然這個工作還未完成,但已經取得了一些進展,下面是總體思路一頁。
2022年6月5日:第三次聯席會
這次會議針對公司XX,YY等主資料的統一管理進行了職責明確,主資料最大的挑戰在於區域性和全域性利益的權衡考量,大家必須站在公司的角度考慮問題才有解決的辦法,而這需要企業資料治理組織的保障。
這次XX,YY主資料建設業務價值高,但建設的複雜度也挺高,不僅橫跨了多個部門,還打穿了OLTP和OLTP,有機會跟大家聊一聊。
2022年6月23日:改革專案上會
公司每年會設立一些改革專案,今年的企業級資料治理體系構建就是其中之一, 當天我做了題為《構建企業級資料治理體系,助力公司實現數智驅動的商業智慧》的改革專案方案彙報, 涉及11個關鍵舉措及實施計劃。
馬上要7月底了,我們也正在籌備資料治理第四次聯席會議,我算了下,從去年8月到現在正好要一週年了, 但跟大老闆的那次彙報似乎 就發生在昨天, 因此特別記錄下自己做資料治理這一年來的經歷,希望對大家 有啟示。
來自 “ 與資料同行 ”, 原文作者:傅一平;原文連結:https://mp.weixin.qq.com/s/aIERlnktW6x3riYtDs6RWw,如有侵權,請聯絡管理員刪除。
相關文章
- 從0到1搭建DeltaLake大資料平臺大資料
- 0到1搭建企業級資料治理體系
- 回顧·大資料平臺從0到1之後大資料
- 從0到1,成為大資料行業領袖大資料行業
- 從0到1實現PromisePromise
- 從0到1使用Kubernetes系列(六):資料持久化實戰持久化
- HDFS+ClickHouse+Spark:從0到1實現一款輕量級大資料分析系統Spark大資料
- 五個篇章講明白如何從0到1搭建大資料平臺大資料
- 資料管理實戰:我的一週工作紀實
- PHash從0到1
- 資料治理:從一把手工程到資料文化!
- node專案從0到1實戰
- 從0到1實現VueUI庫思路VueUI
- 測試開發進階:一文教你從0到1搞懂大資料測試!大資料
- 【深入理解Go】從0到1實現一個validatorGo
- 從 0 到 1 實現一款簡易版 WebpackWeb
- 從0到1實現一個簡單計算器
- 保姆級教程,帶你認識大資料,從0到1搭建 Hadoop 叢集大資料Hadoop
- 從0到1到無窮,vivo大規模機器學習實踐機器學習
- 某二手交易平臺大資料平臺從 0 到 1 演進與實踐大資料
- 短影片平臺怎麼做,教你從0到1實現一個資料庫系統資料庫
- [譯] Flutter 從 0 到 1Flutter
- 【深入理解Go】從0到1實現一個filter(middleware)GoFilter
- 從0到1完成一個Babel外掛Babel
- 大資料從業10年,從一個BI專案的失敗,看到資料治理的重要性大資料
- 工業「嫁衣」,從0到1
- 從 0 到 1 認識 TypescriptTypeScript
- 0到1,Celery從入門到出家
- selenium 資料驅動框架自動化從0到1--3框架
- 從0到1編寫一個指令碼引擎指令碼
- 資料分析入門-導論-如何親手從0到1建立一個學科
- 《從0到1學習Flink》—— Flink 讀取 Kafka 資料批量寫入到 MySQLKafkaMySql
- 做產品,選擇從0到1還是從1到N?
- 2020實戰覆盤:如何從0到1搭建資料傳輸平臺產品DTS?
- 汽車之家資料庫服務化平臺從0到1的實踐過程資料庫
- 從0到1實現專案Docker編排部署Docker
- 從0到1實現自己的阻塞佇列(上)佇列
- 從 0 到 1 實現 react - onChange 事件以及受控組React事件