數字化轉型助推,200億後設資料治理市場空間充滿想象
在目前各行業數字化轉型的大背景下,資料治理工作一般是伴隨著資料平臺的建設以及運營的過程展開的。基於IDC資料,結合對行業專家的調研,愛分析預計到2023年,中國的資料治理市場規模將達到200億元人民幣。當前資料治理市場玩家眾多,但能力與服務趨同和單一,市場供應分散,能夠透過將管理方法論進行實踐,並進一步沉澱為產品,從而提升規模化部署和落地的廠商鳳毛麟角
當前,各行各業廣泛開展了資料湖、資料中臺以及大資料中心等建設專案,透過這些專案能夠實現降本增效以及監管合規等業務價值。
不過,在這一過程中,企業也面臨過去二三十年間存量資訊系統和存量資料資產等龐大的資料來源,這些資料普遍存在著不可理解、不規範、不一致和不準確等問題,制約了資料價值的發揮。資料治理為這些問題提供瞭解決方案,資料治理作為一項基礎工作獲得越來越多企業重視,成為企業的普遍實踐。
從企業對資料服務的需求看,過去二三十年,中國資料行業經歷了從點到面,從應用到底層治理的歷程:從最初注重資料生成,到資料分析,再到以中臺化為特徵的平臺化融通,目前資料應用已高度繁榮。
資料應用繁榮發展的同時,也讓企業看到包括資料質量等資料底層的問題,亟需透過資料治理解決,中國的資料治理行業起飛的時機已經到來。
與此同時,從國外的經驗看,過去兩三年來,資料治理和資料管理領域的融資併購明顯加速。2019年4月,總部位於美國加州的資料管理平臺Segment 宣佈獲得1.75億美元融資,融資後估值為15億美元;2020年1月,總部位於加州的專注於資料安全治理領域的廠商Securiti.ai 宣佈獲得5億美元融資。
資料治理的具體內容包羅永珍,同時,涉及的廠商紛繁複雜,包括傳統IT整合商、諮詢公司和資料中臺廠商等。資料治理市場該如何界定?是否會發展成一個獨立市場?未來的市場空間如何?基於行業研究,以及對行業代表企業的深入訪談,愛分析將透過本文對這些問題作出詳細解答。
01 資料治理伴隨資料平臺建設和運營過程展開
在目前各行業數字化轉型的大背景下,資料治理工作是伴隨著資料平臺的建設以及運營過程而展開的。如下圖所示,在企業展開的大資料平臺建設和應用開發專案中,具體內容一般包括諮詢規劃和具體建設兩個部分。
其中,諮詢規劃環節包括三個方面:第一是資料平臺本身的規劃,包括資料庫架構、資料模型、技術元件和資料加工邏輯等規劃工作;第二是上層應用規劃,如精準營銷和智慧風控等智慧化應用的規劃工作;第三是資料治理規劃。
由此可見,資料治理工作屬於資料平臺建設和運營中的一個環節,資料治理落地既需要企業自己運營,同時需要融入其他工作的過程中。具體來看,資料治理的落地工作包括兩個方面:資料治理的管理落地以及資料治理的技術落地。
資料治理的管理落地,包括組織、制度、標準和規則等內容,會融入到資料平臺與上層應用的建設與運維過程中,對後者進行指導和約束;而資料治理的技術落地,則會有一套資料治理平臺,如資料質量管理平臺和資料標準管理平臺等,支撐資料治理的管理落地和常態運營。
另一方面,在面向組織全域資料環境時,資料治理工作則不限於資料平臺建設和運營過程,還包括面向源端業務系統、生產系統以及對外資料合作相關的資料平臺。
資料治理是指企業為實現資料資產價值最大化所開展的一系列持續工作過程,目標是明確資料相關方的責權、協調資料相關方達成資料利益的一致以及促進資料相關方採取聯合資料行動。具體來看,資料治理包括資料質量管理、後設資料管理、資料標準管理、主資料管理、資料架構管理和資料安全管理,同時還包括資料管理相關的組織與制度。
作為“舶來品”,資料治理概念在中國經歷了與本地文化落地融合的過程。根據DAMA 國際資料管理協會的定義,在國外,資料治理一般僅包括目標、原則、組織、制度、流程等軟性要求,屬於資料治理的“狹義”範疇。而在中國,則將資料架構、資料標準、資料質量和資料安全等一系列資料管理活動納入資料治理的範疇,屬於“廣義”層面的資料治理。
02 數字化轉型加快,資料治理建設邁入第四階段
資料治理在中國已經歷了早期的數倉建設以及監管政策驅動的第一和第二階段,還經歷了近年來大資料平臺以及資料中臺等建設專案驅動的第三階段。在數字化轉型戰略的推動下,中國的資料治理正進入決策層牽頭建設的第四階段。
1)第一階段:2005-2009年
2005年左右,早期的資料倉儲建設在中國興起,一開始主要由商業銀行、通訊運營商主導,隨後能源等行業企業加入。商業銀行透過與埃森哲、IBM等國外IT諮詢公司合作,最早將資料治理的概念在中國予以實踐。
資料倉儲建設涉及從不同來源的平臺中抽取資料並進行整合,在這一過程中,需要確保資料質量,包括資料口徑、資料標準和資料模型統一等。透過資料治理,建立起資料標準、資料模型等管理體系,能夠提升資料質量,確保資料倉儲建設順利推進,進而能夠更好支撐起BI等資料分析型應用。
這一階段,不同行業開展資料治理工作的路徑並不相同。由於監管要求和對於管理諮詢理念接受度較高,商業銀行的資料治理工作一般是在資料倉儲建設之前或者建設過程中展開;而通訊和能源行業企業則更加重視資料倉儲平臺本身建設,資料治理是在平臺建設之後展開, 如中國移動的資料倉儲建設始於2004年,而後設資料管理規範則於2006年才正式推出。
這一階段的資料治理一般由IT部門和資訊化部門牽頭,IT人員承擔資料治理的主要職責,業務部門很少參與。
2)第二階段:2010-2014年
這一階段的資料治理的需求主要集中於銀行業,主要由監管政策驅動。巴塞爾委員會於2010年底釋出《第三版巴塞爾協議》,從技術層面對於銀行在資料的使用、積累和管理等方面提出了要求。
為了推動中國銀行參與到國際清算體系中,銀監會開始在國內推廣《巴塞爾協議》。早在2009年,銀監會就針對資料標準和資料治理這一話題進行了行業性研究,隨後於2011年推出《銀行監管統計資料質量管理良好標準》。該標準從組織機構及人員,制度建設,系統保障和資料標準,資料質量的監控、檢查與評價以及資料的報送、應用和儲存五大方面對銀行資料治理提出要求。
隨著銀監會頒佈相關的資料治理監管政策,銀行業對資料治理演化成全行業的需求。不過,這一階段的資料治理仍主要由IT部門牽頭,業務部門參與有限。
3)第三階段:2015-2018年
隨著企業業務線上化以及“網際網路+”等戰略的深化,企業內部產生了海量的資料,併產生了充分利用資料並挖掘資料價值的需求。在這一背景下,2015年左右,企業興起了大資料平臺建設。
不過,囿於企業內部專案推進以及資料結構複雜等多種因素,大部分企業所展開的資料湖等大資料平臺建設專案一開始效果不盡人意,其中一個重要原因是資料管理方面存在問題。這引起了行業性的反思,企業希望透過加強資料治理,提升大資料平臺建設的效果。
進入2018年,資料中臺概念流行,企業紛紛推出資料中臺專案。作為一種組織架構,資料中臺概念所包含的統一資料資產管理、統一後設資料管理等內容與資料治理的理念不謀而合。隨著資料中臺專案的推進,資料作為一種資產的理念開始被企業廣泛接受,推動了資料治理的進一步發展。
在這一階段,越來越多的企業開始搭建資料治理的專職團隊以及資料治理相關部門,資料治理不再僅是IT部門的工作,業務部門開始參與進來。在此過程中,資料治理的實踐仍存在一個誤區——只在資料中臺內部開展資料治理,而對源端業務系統的資料治理關注不足、推動不利,這也造成資料中臺的區域性治理並不能保證企業持續不斷得到高質量資料。
4)第四階段:2019年-至今
在大資料平臺和資料中臺持續建設的同時,2019年以來,企業數字化轉型進入快車道。數字化轉型強調從企業全域性出發進行戰略統籌,一般由企業最高管理層直接負責推動,資料治理真正第一次進入到了企業決策者的視野。
在這一階段,資料治理已內化成為企業機制建設的一部分,如2020年9月,國資委釋出的《關於加快推進國有企業數字化轉型工作的通知》,針對央企數字化轉型工作,明確提出構建資料治理體系的要求。
在包括金融、通訊、能源等資料治理開展相對成熟的行業,大多數企業都已設定資料治理(資料資產管理)的專職部門和崗位,而且越是資料治理成熟的企業,專職部門越是靠近業務側,且專職部門級別越高。
從以上資料治理歷經的四個階段可以看出,資料治理工作是隨著資料應用的深化而逐步推進的。總體來看,當前大部分企業已經認識到資料治理的重要性,並已普遍開展了資料治理工作。根據御數坊於2021年初發布的《企業資料治理現狀調查報告》,在參與調查的近600家企業中, 88%表示已展開了資料治理工作。
03 中國資料治理市場迎來爆發,未來前景可期
隨著企業越來越多開展資料治理工作,企業對資料治理相關的產品和服務投入也逐步增加。
在當前階段,中國企業的資料治理工作主要是圍繞著大資料平臺的建設和完善過程而展開的。隨著中國企業大資料平臺建設步伐的加快,與之相關的資料治理市場也將迎來爆發增長。
IDC預計,到2023年,中國大資料市場總規模將達到1600億人民幣,其中軟體和服務約為1000億元。2019年至2023年,中國大資料市場的複合增長率為23.5%。根據愛分析的調研,在包括銀行、能源和通訊等企業典型的大資料平臺建設專案中,約20%預算用於資料治理工作。據此推算,到2023年,中國的資料治理市場規模將約為200億元。
分行業看,早期對資料治理需求主要來源於金融和通訊運營商,不過近年來,包括能源、房地產、汽車等行業藉助數字化轉型的浪潮,奮起直追。此外,隨著數字政府和智慧城市等專案的推進,政府部門也成為了資料治理的重要需求來源。IDC資料顯示,2018年,中國數字政府大資料市場達47.44億元人民幣,其中資料管理和治理的軟體和服務市場為31.81億元人民幣。
04 沉澱管理方法論,打造通用化產品是實現規模化的路徑
目前市場上資料治理的玩家主要分為三類:第一是IT諮詢公司,典型的廠商包括埃森哲和IBM等;第二是資料平臺和資料中臺公司,包括明略科技、數瀾科技和惟客資料;第三類則是專注於資料治理的廠商,典型代表是御數坊。
從產品和服務的供應來看,當前中國資料治理市場呈現較為分散的狀態,這主要受限於當前資料治理廠商採納的交付模式。
目前資料治理廠商典型的交付模式包括兩種,第一種是傳統諮詢模式;第二種是資料治理軟體為主的純工具類交付模式。在這兩種模式下,要實現資料治理的價值體現和規模化落地都面臨巨大挑戰。
在諮詢服務模式下,IT諮詢公司以提供頂層設計規劃以及組織制度規劃等體系化的諮詢服務為主,與具體業務場景存在較大脫節,企業業務部門參與度低,往往難以落地見效;在資料治理軟體的交付模式下,技術工具公司更側重資料開發人員技術化的功能,技術功能同質化嚴重,並且難以支撐業務人員、專職的資料治理人員使用,資料治理效果和價值難以發揮。
由此可見,在當前兩種模式下,採納任意一種都難以實現規模化落地,而要真正實現規模化其中一個路徑是將兩種模式進行結合:將管理方法論進行沉澱,打造成通用化產品,結合資料治理軟體產品以及智慧化等先進技術,從而解決資料治理難以上手以及價值無法發揮的難題。
而這種可以因地制宜,實現高價值的模式,對廠商的產品能力提出了更高的要求,具體來看,體現在以下兩個方面:
第一是資料治理方法論和場景設計能力。諮詢方法論是指標對資料管理全生命週期形成的體系性實踐綱要,而場景設計能力則指標對資料應用場景的規劃和落地能力。
資料治理方法論和場景設計能力越強,就越能夠對資料治理過程中涉及的各種工作任務進行可操作的流程設計和軟體應用開發,將資料資產盤點、資料標準管理、資料質量管理、後設資料管理以及資料認責管理等流程以線上化的方式形成通用化產品,實現跨行業的規模化落地。
第二是技術能力。在資料治理落地和實施過程中,可使用 NLP、機器學習、知識圖譜以及低程式碼等先進技術,提升資料標準制定、資料資產目錄建設、資料認責管理等工作的效率,減少人工成本。廠商具備的技術能力越強,就越能夠快速推進專案的落地,實現規模化部署。
05 諮詢和產品一體化發展,御數坊推進資料治理規模化應用
御數坊是融合了諮詢服務模式以及純工具類交付模式的典型代表廠商。
御數坊成立於2014年,成立之初主要以提供諮詢服務為主。近兩年來,御數坊實現轉型,目前形成了“諮詢服務+軟體產品”的諮詢和產品一體化的服務模式,為企業提供全棧的資料治理解決方案。
御數坊(北京)科技有限公司成立於2014年12月,是一家在資料治理領域專注十年以上的專業機構。成立以來,參與多項資料治理專業國家標準編寫,服務於多家大型企業,行業覆蓋銀行、證券、能源、地產、汽車、通訊、製造、政府等領域。御數坊以“諮詢服務+軟體產品”的一體化交付模式,致力於解決中國客戶多年以來的資料治理實踐困惑和挑戰。
御數坊(北京)科技有限公司成立於2014年12月,是一家在資料治理領域專注十年以上的專業機構。成立以來,參與多項資料治理專業國家標準編寫,服務於多家大型企業,行業覆蓋銀行、證券、能源、地產、汽車、通訊、製造、政府等領域。御數坊以“諮詢服務+軟體產品”的一體化交付模式,致力於解決中國客戶多年以來的資料治理實踐困惑和挑戰。
在之前的諮詢以及純工具交付模式下,諮詢服務與資料治理軟體存在斷層,服務和產品與客戶需求脫節,資料治理投入大、時間長、阻力大而且價值低下。而御數坊採用的諮詢和產品一體化的服務模式,可有效解決這些難題,既解決了諮詢模式下資料治理難落地的問題,也解決了純工具模式下軟體工具面向技術人員而無法被業務人員使用的問題。
御數坊目前推出了拳頭產品“DGOffice資料治理辦公室”。DGOffice構建了大量基於諮詢方法論的協同化應用場景,能夠讓客戶簡單、規範的實現資料治理工作的起步。基於DGOffice,包括業務人員在內企業人員可線上進行資料資產盤點、資料認責管理、資料標準管理和資料質量管理等工作。
由於御數坊實現了將治理方法論融入DGOffice產品中,構建了資料管理工具功能化向場景化的轉化,因此能夠實現在同行業以及行業間進行復制,推進規模化部署。與此同時,DGOffice還具備智慧化以及低程式碼能力,能夠快速的支撐起客戶個性化的管理場景,提高實施與交付的速度。
在諮詢方面,御數坊的服務模式從以往的重諮詢轉向了當前以面向業務場景的微諮詢為主。在微諮詢的模式下,御數坊會圍繞著客戶反饋的業務場景和資料問題,如營銷指標治理以及客戶資料治理等,提供諮詢服務。相比面向全企業集團的大型體系化的諮詢專案,面向場景的微諮詢能夠圍繞具體痛點,快速解決客戶問題,具備見效快和效率高的特點,通常情況下,兩週到1個月就能完成。
在商業模式上,在目前輕量級微諮詢的交付模式下,御數坊的收費模式也比此前重諮詢的交付模式下變得更加靈活。具體來看, 御數坊目前的收入構成增加了產品部分的收入,按照模組進行收費;而諮詢服務方面,則按照人/月進行收費。
未來,御數坊將繼續堅持諮詢和產品一體化的發展路徑,同時提高產品在整體收入中的比例。具體規劃體現在以下兩個方面:
在技術方面,御數坊將加強對低程式碼、NLP、知識圖譜和機器學習等智慧化技術的投入,提升產品實施和部署的效率;與此同時,御數坊還將加大對雲環境下資料治理應用的研發投入,以適應當前企業IT基礎設施雲化以及多雲的趨勢。
在產品方面,在做好資料治理相關功能模組的同時,御數坊還將探索向包括資料安全治理以及資料交易合作等領域擴充。
06 面向未來,資料治理開啟新徵程
在市場規模迎來爆發增長的同時,未來中國資料治理市場也將呈現出新的特點,主要體現在企業需求、政策、技術以及基礎設施四個方面。
在企業需求方面,在“資料民主化”趨勢下,企業業務部門將越來越多參與到資料治理和資料利用的工作,資料治理將從IT部門及資料團隊走向業務部門,場景將變得更加豐富。
與此同時,隨著“資料要素”概念的推行,面向資料交易和資料合作的資料治理,或將成為新的趨勢。在完成大資料平臺建設的基礎上,對外進行資料合作,能夠提升資料價值,而在這一過程中,透過資料治理能夠明確資料開放和共享管理機制,保障合作各方利益。
在政策方面,資料治理的監管政策或將從銀行業擴充套件至其他行業。過去兩年,國家各個部委紛紛釋出針對全行業的數字化轉型、資料要素等方面的政策,資料治理成為這些政策的重要組成部分。
例如,國資委於2020年9月 釋出《關於加快推進國有企業數字化轉型工作的通知》。通知提到國有企業集團應該加快資料治理體系建設,明確資料治理歸口管理部門,加強資料標準化、後設資料和主資料管理工作,定期評估資料治理能力成熟度。
在技術方面,隨著資料安全及隱私保護相關法律法規的 釋出,資料治理中正在增加資料安全相關的要素;而隨著AI、區塊鏈等技術的逐漸成熟,以及企業已經透過前期資料治理工作積累了大量後設資料資訊,包括NLP、機器學習以及知識圖譜等智慧化技術有望在資料治理中得到廣泛應用。
在基礎設施方面,企業上雲程式加快,同時企業越來越多的採用私有云、公有云和混合雲等多種形式,並且使用超過一家雲廠商的服務。多雲的環境下也給資料管理工作帶來了挑戰, 資料治理需要適應這一趨勢。
未來, 隨著企業數字化轉型的加快,對資料治理的需求將進一步提升;與此同時,國家和行業紛紛推出資料治理相關的行業政策以及行業標準,資料治理在中國將迎來屬於自己的春天。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69993021/viewspace-2772720/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 軟體定義儲存加碼資料治理 助推金融機構數字化轉型
- 跟著華為,學數字化轉型(7):資料治理
- 賽迪顧問:IT後市場數字化轉型白皮書
- DAMA|資料治理作為基礎,推動數字化轉型
- 綠盟科技在民航|資料安全治理體系支撐智慧機場數字化轉型
- 全新SitecoreExperienceCloud™助推數字體驗轉型Cloud
- 大資料:數字化轉型利器大資料
- 億信華辰告訴你數字化轉型背景下,能源企業如何做好資料治理
- 數字化轉型推進現代化智慧城市治理
- 資料治理對於化工集團公司數字化轉型的重要性
- 能源企業數字化轉型背景下的資料安全治理實踐路徑
- 虛擬磁碟空間滿後的擴充套件方法套件
- 財務RPA機器人助推財務數字化轉型機器人
- 奇點雲資料中臺技術匯 | 資料治理——企業數字化轉型的基石
- IDC:數字化轉型時代 IT市場迎來5大趨勢
- 資料治理--後設資料
- ∑co時間 | 夯實資料基礎 推動高校數字化轉型
- 保險+智慧 智保雲“SaaS+資料服務”新模式助推保險經代行業數字化轉型模式行業
- 什麼是數字化轉型,如何理解數字化轉型?
- IDC:2022年數字政府大資料及資料治理市場份額大資料
- 資料分析驅動數字化企業轉型
- 企業數字化轉型:聊聊資料思維!
- 案例解析 | 美創科技“數字駕駛艙”助推人社治理現代化
- 智慧經營3.0已成為線下數字化轉型程式助推器
- 低程式碼助推生物製藥企業CDMO的“數字化轉型”之路
- 再見數字化轉型:對數字化轉型的再思考
- PHP資料型別轉換(字元轉數字,數字轉字元)PHP資料型別字元
- 智慧電廠擁抱“雙碳”,空冷島設施數字化轉型
- 企業數字化轉型始於資料和模型模型
- 從資料治理到資料應用,製造業企業如何突破數字化轉型困境丨行業方案行業
- 數字化轉型,你需要的不是資料,而是資料思維!
- 資料技術大融合,HSTAP資料庫有多少想象空間?資料庫
- 資料治理之後設資料管理
- 2023年全球主要國家和地區數字化轉型支出市場份額(附原資料表)
- 跟著華為,學數字化轉型(4):資料採集
- 數字化轉型解決企業資料安全問題
- 萬物互聯助推數字化轉型 物聯網安全將何去何從?
- 智慧數字經營市場開始火爆,全面響應十四五數字化轉型戰略目標