資料治理三大模式詳解,治理新正規化釋放資料潛能
隨著世界經濟由工業經濟向數字經濟轉型,資料逐步成為關鍵的生產要素,企業開始將資料作為一種 進行管理。資料從業務中產生,在IT系統中承載,要對資料進行有效治理,需要業務充分參與,IT系統確保遵從,這是一個非常複雜的系統工程。
資料治理架構
實踐證明,企業只有構築一套企業級的 ,明確關鍵資料資產的業務管理責任,依賴規範的 ,構建有效的管理平臺及工具,資料的價值才能真正發揮出來。資料治理架構如下圖所示。
構築資料治理體系的過程,即以資料應用為核心打造“良性迴圈的閉環資料治理管理體系”的過程。各IT系統獲取業務活動產生的各類資料後,經過系統的資料治理、管理,不斷挖掘、變現資料價值,擴充、深入資料應用場景,指導業務決策,同時在不斷應用資料過程中基於發現的資料問題,透過資料治理、管理的過程不斷修訂,推動業務系統全面升級,真正最佳化 ,最終構建資料“獲取→管理→變現→發現→應對→修正”的閉環管理機制。
以資料應用核心, 為支撐,在資料治理組織/制度保障下,不斷透過資料治理手段,推動實現 及業務標準化,實現業務、技術、管理、平臺的有效聯動。
在資料治理綜合體系內,資料治理核心模組包括 、資料治理職能及 。
資料治理規劃是指資料治理體系與規劃、資料治理組織與職責、資料治理制度及流程,是 的核心模組;
資料治理職能包括資料標準管理、 、資料架構及模型管理、資料開發、 、主資料管理、資料生命週期管理、資料安全管理八大職能,實際過程中,企業通常會合並管理;
資料治理平臺工具包括資料開發平臺、 、資料質量管理平臺、資料服務平臺,通常資料治理平臺工具基於資料治理的階段功能並不完全一致,實踐中平臺工具通常綜合多方面功能,而不是單平臺功能。
三大模組互為動力,資料治理規劃指導資料治理職能的全面發揮,資料治理各項職能透過資料治理平臺工具協助管理,資料治理平臺工具支撐資料治理規劃的落地及最佳化,資料治理規劃各層面逐步固化在資料治理平臺上,資料治理平臺輔助資料治理各項職能的管理,透過資料治理各項職能不斷落實和完善資料治理規劃,實現組織數字化轉型,固化管理機制及流程體系。
未來企業透過構築資料治理綜合體系,逐步建立 ,完成組織轉型,資料治理職能將成為企業管理的重要組成部分,良性迴圈的管理體系將推動企業實現更廣、更深層次的資料應用,資料決策將成為企業人思考的習慣,企業決策將更加科學、有效。
未來企業資料治理藍圖架構如下圖所示,業務系統、資料治理及資料應用互為動力,共同推動企業數字化轉型的實現。
資料治理模式
資料治理模式是指企業基於不同的資料治理目標,根據企業組織、系統、資料應用的現狀,以何種資料治理策略開展資料治理活動。根據 8年的實踐證明,通常資料治理模式包括三種基本模式。
模式一:自下而上,以資料架構為重,開展資料治理
這種模式重在資料架構,層層向上治理資料,至資料應用層。這種模式從底層資料切入,基於現有資料基礎,盤點、建設、治理、應用層層展開,對企業整體的資料思維、資料治理水平要求較高,通常適用於資料量重、業務應用輕大型技術型企業,或政府機構,或新建、自研系統較多的企業。
模式二:自上而下,以明確的資料應用為重,開展資料治理
這種模式即單點應用式,通常以現有應用需求為核心開展 。聚焦各個業務領域的資料應用、資料治理需求,在有需求、有資源、有驅動力的前提下,按需組織推進資料治理工作。只有業務部門的深入參與才能做好資料治理,只有針對業務自身需求進行的治理,才能得到業務部門的認可和支援。
模式二通常圍繞資料應用的需求進行資料治理,比如升級架構、更換平臺等涉及資料應用遷移時,或聚焦監管、上報類等明確資料應用時,圍繞資料應用進行資料治理。
模式二通常適用於資料應用較強、業務部門較為強勢、但整體資料認知較弱的企業。這種模式的資料治理切入相對較為簡單,實踐證明,大部分企業數字化轉型初期會這種模式,慢慢探索企業的資料治理道路,這種模式有助於拉齊資料部門、業務部門的認知,提升企業整體資料認知,為未來資料治理的開展提供基石。
模式三:大規劃模式,從資料應用規劃入手,治理現狀,規劃未來,基於資料資產的未來開展資料治理
這種模式需要企業全面梳理業務的現狀痛點及業務未來暢想,盤現狀、規劃未來,基於業務現在及未來的需求規劃分析應用場景,在應用場景藍圖規劃的範圍內,全面的梳理資料的現狀、規劃資料的未來,針對藍圖規劃中的資料需求,制定全方位策略。例如哪些新建系統、新購資料來源?哪些需要現有資料系統升級,細化、標準化現有資料?哪些資料需求落地可行性較高?
制定全面的規劃體系,劃分優先順序,有節奏、有步驟地實現全面的 。這種模式通常是企業的戰略專案,由高層推進開展,對資料、業務協同性要求較高,整個過程涉及系統改造升級、業務流程最佳化再造,是企業全面升級的過程。
組合模式一:模式一&模式二組合,即 +明確應用場景規劃。這種模式兼顧底層資料與上層應用,可對沖底層數倉重建的部分風險,同時可有效地闡述資料價值,整體可行性較高。
組合模式二:模式一&模式三組合,即全域資料治理+全面應用場景規劃。這種模式從現在、未來的角度全面開展資料治理,業務、資料全面覆蓋,返工重建風險小,同時有助於推動業務系統、資料全面升級,業務價值較高,但對組織協同要求高,且成本投入高、耗時久,對執行團隊要求高,複合型人才需求大,屬於高風險高收益模式,需要企業高戰略、高執行的推進落地。
資料治理模式對比
三大資料治理模式開展方式、適用場景、優劣勢、資源投入各不相同。
模式一,自下而上,切入方便,成本可控,重架構,但脫離應用,對執行團隊架構能力要求較高,成效慢;
模式二,自上而下,目的明確,切入方便,成本可控,重應用,但輕治理,容易造成面子工程,出現重複治理的風險;
模式三,大規劃模式,規劃的眼光,覆蓋業務、資料雙層面,重建風險小,聚焦業務,有利於充分挖掘資料價值,但對組織的協同性要求較高,同時需要高質量複合型人才配合團隊執行,整體落地風險較大,成本較大。
資料治理三大模式對比如下表所示:
三大資料治理模式各有優劣,而組合模式在某種程度上對沖單一模式的風險,可以更好地滿足企業資料治理的需求和目的。企業應基於面臨的現狀,選擇適合的自己的治理模式。
資料治理模式選擇
不同的資料治理模式,對企業的資料治理水平、組織協同程度要求不同。
自下而上的模式一是基於 的,對資料治理水平要求較高,資料治理水平包括資料基礎(資料量、資料質量等)以及資料治理能力,資料治理能力主要體現在資料治理團隊專業度以及資料治理體系(組織、制度及流程)完善度。這種模式對組織協同度要求相對較低,主要靠資料治理團隊推動進行。
自上而下的模式二是基於明確資料應用進行資料治理的,相較於自下而上的模式一,組織的協同性要求會更高,需要業務部門、資料部門配合實現,但整體以需求為主,對資料治理的水平要求一般。
大規劃的模式三既治理現狀,又規劃未來,對組織協同性及資料治理水平均有極高要求。該模式需要動員企業的業務部門、技術部門、資料部門,同時需要企業各階層(高層、中層、基層員工)的人員共同配合,全面盤點業務的痛點及未來規劃,同時梳理資料現狀,規劃資料未來,通常為戰略專案、高層領導共同將企業資料治理水平推向一個新水平,同時完成 的轉型。
組合模式在組織協同性、資料治理水平上會疊加單一模式的要求,如模式一&模式三的組合模式對組織協同性、資料治理水平要求最高。
各模式對企業的組織協同性、資料治理水平的要求見下圖所示,基於各模式對企業組織協同、資料治理水平的要求不同,企業應充分盤點企業的組織現狀、資料現狀、應用現狀,初步評估企業資料治理水平、組織協同度,結合資料治理的目標,評估可行性,選擇最 佳模式。
企業資料治理是個複雜而漫長的過程,通常在不同的發展階段,企業選擇資料治理模式並不同,基於面對的組織、資料、應用現狀,企業需要均衡目標與現狀,選擇當下最合適的資料治理模式。
企業資料治理並不是一蹴而就的,它需要企業不斷地進行規劃、治理、監測、最佳化,透過資料治理不斷完善企業的組織、制度、流程管理體系,同時不斷提升企業資料治理管理水平,包括 、資料質量、資料架構及模型、資料應用等模組的管理水平提升。
資料治理是一個持續迴圈的過程,需透過不斷地改進提升及完善。PDCA迴圈不是在同一水平上迴圈,而是呈階梯式推動上升,每次迴圈將推進企業的資料治理水平及組織協同性向新的、更高的層級進階,最終實現企業數字化轉型。
資料治理實施路徑
企業資料治理實施路徑通常包含三個階段。
第一階段:起步階段,業務運營數字化階段。
這個階段主要是梳理企業面臨的現狀,響應痛點,探索 。企業逐步開始由資訊化向數字化轉型,這個階段企業會重新審視原有的資料治理策略,重構資料治理戰略及實現路徑,逐步開始搭建資料治理框架、資料治理體系框架,升級原有的資料處理、應用模式, ,構建大資料採集、彙集、儲存、計算、服務的基礎能力,逐步整合各系統的資料,打破資料孤島,沉澱資料資產,探索業務場景化。
第二階段:深入擴充階段,資料賦能常態化階段。
這個階段資料應用成為重點,企業開始深挖資料價值,提高資料應用覆蓋。資料應用的範圍,由核心KPI指標的實現,逐步覆蓋全部核心業務,搭建完善的分析框架和洞察體系,不斷地提升業務決策質量。
大資料平臺持續發揮大資料處理的能力,企業納入更多、更廣的資料內容,不斷擴大資料應用的廣度及深度,初步形成企業的資料資產地圖,資料標準體系逐步搭建,資料應用的效率大大提升,初步完成由“經驗主義”向“資料主義”的轉型, 成為企業決策主要決策方式。
這個階段,企業開始全面建立 ,完善資料治理機制,最佳化資料治理流程及制度體系,由原有的“粗放式”管理升級為“精細化”管理,資料質量不斷提升,企業資料管理能力升級,逐步透過 、資料資產平臺、資料治理平臺工具等實現智慧管理,企業資料思維認知全面提升。
第三階段:智慧應用階段,運營決策智慧化階段。 這個階段企業實現洞策合一,智慧場景應用成為常態,全面完成數字化轉型,探索數字業務,開啟新篇章。這個階段以 為主,AI賦能成為常態,企業不斷地挖掘資料的價值、激發創新,開始為企業戰略性分析提供準確的資料依賴,在這個階段,有些企業甚至在原有商業模式上,激發新的業務模式。
資料管理層面,由資料治理體系建設逐步向資料治理體系最佳化進階,完善機制、流程,進一步細化資料管理職責; 資料資產層面,完成全域資料資產建設,構建強壯的資料模型體系,完成企業資料標準建設,不斷完善資料資產體系; 平臺工具層面,大資料平臺能力逐步向演算法能力轉移,智慧推薦演算法模型開發成為常態化的需求,資料治理平臺逐步完善功能,協助企業智慧化資料質量、資料標準、資料資產及主資料等模組,企業真正進入運營決策智慧化階段。
《資料治理行業實踐白皮書》下載地址:
《數棧V6.0產品白皮書》下載地址:
想了解更多有關袋鼠雲大資料產品、行業解決方案、客戶案例的朋友,瀏覽袋鼠雲官網:https://www.dtstack.com/?src=szitpub
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69995740/viewspace-2951637/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 資料治理 VS 公司治理、IT治理、數倉治理
- 合規之資料安全治理
- 資料治理和合規的好處
- 資料大集中時代結束,資料治理新階段如何釋放資料價值?
- 資料治理--模板
- 資料治理怪象
- 資料安全治理
- 資料治理--資料質量
- 資料治理--後設資料
- 資料治理的興與衰,如何進行資料治理?
- 釐清企業資料治理難題,《網易資料治理白皮書》重磅釋出!
- 美創資料支撐平臺釋出,全新升級賦能資料治理
- 資料治理的關鍵:後設資料治理如何開展
- 資料治理:走出資料孤島
- CDGA|資料治理落地化,需要強化人員資料合規意識與能力
- CDGA|從平臺自治到規範化的資料治理
- 資料資產怎麼治理
- 資料治理之後設資料管理
- 資料治理之資料梳理與建模
- 資料治理之資料質量管理
- 大資料時代的資料治理!大資料
- 資料治理:資料質量管理策略!
- 資料中臺助力資料視覺化智慧治理視覺化
- 建立數字信用,大家信夫釋放資料價值潛能
- 杉巖資料與阿里雲達成戰略合作,攜手釋放資料潛能阿里
- 資料治理2 美團
- 大資料治理包括哪些大資料
- 如何透過資料開發治理實現資料流程的自動化和規範化?
- 【資料治理】 第2話 - 標籤治理體系
- 如何理解資料管理、資料治理、資料運營
- CDGA|資料虛擬化助力資料治理成效顯著
- 資料治理之資料模型管控方案模型
- 資料治理為什麼要清洗資料
- 資料治理之資料的“管”與“用”
- 資料治理與資料分類分級!
- 資料治理的資料質量知多少
- 從資產角度看待資料治理
- 新核心業務系統資料架構規劃與資料治理架構