資料治理三大模式詳解,治理新正規化釋放資料潛能

數棧DTinsight發表於2023-05-12

隨著世界經濟由工業經濟向數字經濟轉型,資料逐步成為關鍵的生產要素,企業開始將資料作為一種 進行管理。資料從業務中產生,在IT系統中承載,要對資料進行有效治理,需要業務充分參與,IT系統確保遵從,這是一個非常複雜的系統工程。

資料治理架構

實踐證明,企業只有構築一套企業級的 ,明確關鍵資料資產的業務管理責任,依賴規範的 ,構建有效的管理平臺及工具,資料的價值才能真正發揮出來。資料治理架構如下圖所示。

file

構築資料治理體系的過程,即以資料應用為核心打造“良性迴圈的閉環資料治理管理體系”的過程。各IT系統獲取業務活動產生的各類資料後,經過系統的資料治理、管理,不斷挖掘、變現資料價值,擴充、深入資料應用場景,指導業務決策,同時在不斷應用資料過程中基於發現的資料問題,透過資料治理、管理的過程不斷修訂,推動業務系統全面升級,真正最佳化 ,最終構建資料“獲取→管理→變現→發現→應對→修正”的閉環管理機制。

以資料應用核心, 為支撐,在資料治理組織/制度保障下,不斷透過資料治理手段,推動實現 及業務標準化,實現業務、技術、管理、平臺的有效聯動。

在資料治理綜合體系內,資料治理核心模組包括 、資料治理職能及 。

資料治理規劃是指資料治理體系與規劃、資料治理組織與職責、資料治理制度及流程,是 的核心模組;

資料治理職能包括資料標準管理、 、資料架構及模型管理、資料開發、 、主資料管理、資料生命週期管理、資料安全管理八大職能,實際過程中,企業通常會合並管理;

資料治理平臺工具包括資料開發平臺、 、資料質量管理平臺、資料服務平臺,通常資料治理平臺工具基於資料治理的階段功能並不完全一致,實踐中平臺工具通常綜合多方面功能,而不是單平臺功能。

三大模組互為動力,資料治理規劃指導資料治理職能的全面發揮,資料治理各項職能透過資料治理平臺工具協助管理,資料治理平臺工具支撐資料治理規劃的落地及最佳化,資料治理規劃各層面逐步固化在資料治理平臺上,資料治理平臺輔助資料治理各項職能的管理,透過資料治理各項職能不斷落實和完善資料治理規劃,實現組織數字化轉型,固化管理機制及流程體系。

未來企業透過構築資料治理綜合體系,逐步建立 ,完成組織轉型,資料治理職能將成為企業管理的重要組成部分,良性迴圈的管理體系將推動企業實現更廣、更深層次的資料應用,資料決策將成為企業人思考的習慣,企業決策將更加科學、有效。

未來企業資料治理藍圖架構如下圖所示,業務系統、資料治理及資料應用互為動力,共同推動企業數字化轉型的實現。 file

資料治理模式

資料治理模式是指企業基於不同的資料治理目標,根據企業組織、系統、資料應用的現狀,以何種資料治理策略開展資料治理活動。根據 8年的實踐證明,通常資料治理模式包括三種基本模式。

模式一:自下而上,以資料架構為重,開展資料治理

這種模式重在資料架構,層層向上治理資料,至資料應用層。這種模式從底層資料切入,基於現有資料基礎,盤點、建設、治理、應用層層展開,對企業整體的資料思維、資料治理水平要求較高,通常適用於資料量重、業務應用輕大型技術型企業,或政府機構,或新建、自研系統較多的企業。

模式二:自上而下,以明確的資料應用為重,開展資料治理

這種模式即單點應用式,通常以現有應用需求為核心開展 。聚焦各個業務領域的資料應用、資料治理需求,在有需求、有資源、有驅動力的前提下,按需組織推進資料治理工作。只有業務部門的深入參與才能做好資料治理,只有針對業務自身需求進行的治理,才能得到業務部門的認可和支援。

模式二通常圍繞資料應用的需求進行資料治理,比如升級架構、更換平臺等涉及資料應用遷移時,或聚焦監管、上報類等明確資料應用時,圍繞資料應用進行資料治理。

模式二通常適用於資料應用較強、業務部門較為強勢、但整體資料認知較弱的企業。這種模式的資料治理切入相對較為簡單,實踐證明,大部分企業數字化轉型初期會這種模式,慢慢探索企業的資料治理道路,這種模式有助於拉齊資料部門、業務部門的認知,提升企業整體資料認知,為未來資料治理的開展提供基石。

模式三:大規劃模式,從資料應用規劃入手,治理現狀,規劃未來,基於資料資產的未來開展資料治理

這種模式需要企業全面梳理業務的現狀痛點及業務未來暢想,盤現狀、規劃未來,基於業務現在及未來的需求規劃分析應用場景,在應用場景藍圖規劃的範圍內,全面的梳理資料的現狀、規劃資料的未來,針對藍圖規劃中的資料需求,制定全方位策略。例如哪些新建系統、新購資料來源?哪些需要現有資料系統升級,細化、標準化現有資料?哪些資料需求落地可行性較高?

制定全面的規劃體系,劃分優先順序,有節奏、有步驟地實現全面的 。這種模式通常是企業的戰略專案,由高層推進開展,對資料、業務協同性要求較高,整個過程涉及系統改造升級、業務流程最佳化再造,是企業全面升級的過程。 file

組合模式一:模式一&模式二組合,即 +明確應用場景規劃。這種模式兼顧底層資料與上層應用,可對沖底層數倉重建的部分風險,同時可有效地闡述資料價值,整體可行性較高。

組合模式二:模式一&模式三組合,即全域資料治理+全面應用場景規劃。這種模式從現在、未來的角度全面開展資料治理,業務、資料全面覆蓋,返工重建風險小,同時有助於推動業務系統、資料全面升級,業務價值較高,但對組織協同要求高,且成本投入高、耗時久,對執行團隊要求高,複合型人才需求大,屬於高風險高收益模式,需要企業高戰略、高執行的推進落地。 file

資料治理模式對比

三大資料治理模式開展方式、適用場景、優劣勢、資源投入各不相同。

模式一,自下而上,切入方便,成本可控,重架構,但脫離應用,對執行團隊架構能力要求較高,成效慢;

模式二,自上而下,目的明確,切入方便,成本可控,重應用,但輕治理,容易造成面子工程,出現重複治理的風險;

模式三,大規劃模式,規劃的眼光,覆蓋業務、資料雙層面,重建風險小,聚焦業務,有利於充分挖掘資料價值,但對組織的協同性要求較高,同時需要高質量複合型人才配合團隊執行,整體落地風險較大,成本較大。

資料治理三大模式對比如下表所示: file

三大資料治理模式各有優劣,而組合模式在某種程度上對沖單一模式的風險,可以更好地滿足企業資料治理的需求和目的。企業應基於面臨的現狀,選擇適合的自己的治理模式。

資料治理模式選擇

不同的資料治理模式,對企業的資料治理水平、組織協同程度要求不同。

自下而上的模式一是基於 的,對資料治理水平要求較高,資料治理水平包括資料基礎(資料量、資料質量等)以及資料治理能力,資料治理能力主要體現在資料治理團隊專業度以及資料治理體系(組織、制度及流程)完善度。這種模式對組織協同度要求相對較低,主要靠資料治理團隊推動進行。

自上而下的模式二是基於明確資料應用進行資料治理的,相較於自下而上的模式一,組織的協同性要求會更高,需要業務部門、資料部門配合實現,但整體以需求為主,對資料治理的水平要求一般。

大規劃的模式三既治理現狀,又規劃未來,對組織協同性及資料治理水平均有極高要求。該模式需要動員企業的業務部門、技術部門、資料部門,同時需要企業各階層(高層、中層、基層員工)的人員共同配合,全面盤點業務的痛點及未來規劃,同時梳理資料現狀,規劃資料未來,通常為戰略專案、高層領導共同將企業資料治理水平推向一個新水平,同時完成 的轉型。

組合模式在組織協同性、資料治理水平上會疊加單一模式的要求,如模式一&模式三的組合模式對組織協同性、資料治理水平要求最高。

各模式對企業的組織協同性、資料治理水平的要求見下圖所示,基於各模式對企業組織協同、資料治理水平的要求不同,企業應充分盤點企業的組織現狀、資料現狀、應用現狀,初步評估企業資料治理水平、組織協同度,結合資料治理的目標,評估可行性,選擇最 佳模式。

file

企業資料治理是個複雜而漫長的過程,通常在不同的發展階段,企業選擇資料治理模式並不同,基於面對的組織、資料、應用現狀,企業需要均衡目標與現狀,選擇當下最合適的資料治理模式。

企業資料治理並不是一蹴而就的,它需要企業不斷地進行規劃、治理、監測、最佳化,透過資料治理不斷完善企業的組織、制度、流程管理體系,同時不斷提升企業資料治理管理水平,包括 、資料質量、資料架構及模型、資料應用等模組的管理水平提升。

資料治理是一個持續迴圈的過程,需透過不斷地改進提升及完善。PDCA迴圈不是在同一水平上迴圈,而是呈階梯式推動上升,每次迴圈將推進企業的資料治理水平及組織協同性向新的、更高的層級進階,最終實現企業數字化轉型。 file

資料治理實施路徑

企業資料治理實施路徑通常包含三個階段。

第一階段:起步階段,業務運營數字化階段。

這個階段主要是梳理企業面臨的現狀,響應痛點,探索 。企業逐步開始由資訊化向數字化轉型,這個階段企業會重新審視原有的資料治理策略,重構資料治理戰略及實現路徑,逐步開始搭建資料治理框架、資料治理體系框架,升級原有的資料處理、應用模式, ,構建大資料採集、彙集、儲存、計算、服務的基礎能力,逐步整合各系統的資料,打破資料孤島,沉澱資料資產,探索業務場景化。

第二階段:深入擴充階段,資料賦能常態化階段。

這個階段資料應用成為重點,企業開始深挖資料價值,提高資料應用覆蓋。資料應用的範圍,由核心KPI指標的實現,逐步覆蓋全部核心業務,搭建完善的分析框架和洞察體系,不斷地提升業務決策質量。

大資料平臺持續發揮大資料處理的能力,企業納入更多、更廣的資料內容,不斷擴大資料應用的廣度及深度,初步形成企業的資料資產地圖,資料標準體系逐步搭建,資料應用的效率大大提升,初步完成由“經驗主義”向“資料主義”的轉型, 成為企業決策主要決策方式。

這個階段,企業開始全面建立 ,完善資料治理機制,最佳化資料治理流程及制度體系,由原有的“粗放式”管理升級為“精細化”管理,資料質量不斷提升,企業資料管理能力升級,逐步透過 、資料資產平臺、資料治理平臺工具等實現智慧管理,企業資料思維認知全面提升。

第三階段:智慧應用階段,運營決策智慧化階段。 這個階段企業實現洞策合一,智慧場景應用成為常態,全面完成數字化轉型,探索數字業務,開啟新篇章。這個階段以 為主,AI賦能成為常態,企業不斷地挖掘資料的價值、激發創新,開始為企業戰略性分析提供準確的資料依賴,在這個階段,有些企業甚至在原有商業模式上,激發新的業務模式。

資料管理層面,由資料治理體系建設逐步向資料治理體系最佳化進階,完善機制、流程,進一步細化資料管理職責; 資料資產層面,完成全域資料資產建設,構建強壯的資料模型體系,完成企業資料標準建設,不斷完善資料資產體系; 平臺工具層面,大資料平臺能力逐步向演算法能力轉移,智慧推薦演算法模型開發成為常態化的需求,資料治理平臺逐步完善功能,協助企業智慧化資料質量、資料標準、資料資產及主資料等模組,企業真正進入運營決策智慧化階段。 file

《資料治理行業實踐白皮書》下載地址:


《數棧V6.0產品白皮書》下載地址:


想了解更多有關袋鼠雲大資料產品、行業解決方案、客戶案例的朋友,瀏覽袋鼠雲官網:https://www.dtstack.com/?src=szitpub


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69995740/viewspace-2951637/,如需轉載,請註明出處,否則將追究法律責任。

相關文章