資料治理始終沒有發揮成效,原因何在?

danny_2018發表於2024-01-29

【摘要】資料中臺增速驟降,企業也不再像囤積土地資源一樣囤積資料,開始更多關注資料本身能夠帶來的價值。同時,也開始更加關注基於資料中臺的資料治理應該如何開展。在技術架構上,資料治理始終都是資料中臺的重要組成部分,但是資料治理的成效始終都沒有發揮出來,原因何在?本文分析了資料中臺與資料治理的後續發展趨勢和思路。

【作者】鄭金輝

一、市場在擴大,但是趨於理智,價值導向更明顯

資料中臺是中國本土誕生的一個詞,從技術的角度來講,筆者個人認為是對資料架構和資料平臺的一個巨大貢獻,快速拉近了高不可攀的資料技術與實際應用的距離,讓資料在企業落地變得觸手可及。資料中臺顯然是近幾年的一個行業熱點,幾乎所有有能力的客戶,都會場合套用資料中臺的概念來啟動資料域建設或者改造,試圖打破資訊壁壘和資料煙囪,實現資料資產的整合。在資料要素配置的政策加持下,資料中臺市場規模迅速擴大。

最近看了一些資料,資料中臺增長率從2019年的120%,降到了2022年的30%,再到預測的2023年的24%,雖然不同機構對這一數字的解讀用了不同詞兒,有的叫增長趨於平穩,有的叫增速驟降,怎麼說都對,但其中的共識就是客戶開始變得比以前理智,不再糾結於過分追新求快,開始關注資料中臺的價值導向。客戶也開始更理智的看待資料要素,從一開始像囤積土地資源一樣囤積資料,開始更多關注資料本身能夠帶來的價值。同時,也開始更加關注基於資料中臺的資料治理應該如何開展。

二、資料中臺與資料治理本就你中有我,我中有你

資料中臺的出現在客觀上對傳統資料治理的推進造成了一定的影響,但是資料中臺從本質上跟資料治理是相輔相成的關係。首先,資料中臺實現了資料資源的聚合和融通,承載了業務條線對資料的需求和期望,是企業切入資料域建設的重要途徑和抓手。企業透過資料中臺的建設和落地,比較容易在資料層面“找問題”、“強弱項”,有助於資料治理意識和體系的形成。資料中臺要想持續發揮價值,需要受資料治理體系的管理和約束,資料治理的持續執行有助於進一步加強和推動資料服務能力建設。

雖然在技術架構上,資料治理始終都是資料中臺的重要組成部分,但是資料治理的成效始終都沒有發揮出來。究其原因,問題應該出在管理和組織上。

三、除了工具和平臺,我們應該怎麼理解資料治理

1、統一思想

資料治理應該成為企業數字化轉型戰略的一部分,針對不同情況和處境,儘快達成一致,形成統一的治理思想和戰略,並納入數字化戰略統一推進。處在數字化轉型初期的,應該採取管理先行制度為王的策略;處在數字化轉型中期的,應該儘快建立資料治理平臺能力,建立全鏈路資料跟蹤監測體系和資料質量基線,快速發現問題,避免一亂一治的問題。

2、組織至上

資料治理始終都是一個以人為本的領域,資料治理的核心是人,不是系統。這個概念可能很多人不能接受,但事實就是這樣。平臺和工具只能代替人去處理一些重複性勞動,但是資料意識的養成、資料標準的建立、資料質量體系的完善都需要靠人去推動。所以,成立專門的組織就很重要,建立面向資料治理、資料運維和資料運營的專門團隊,確定團隊和組織的地位和責權利,就變成了當務之急。有時候組織的範圍不僅僅是本單位內部,還會包括你的應用開發商、服務商和供應商。

3、模式適配

通常來講,資料治理的推進模式有集中式、聯邦式和分散式。模式沒有好與壞的區別,適合的就是最好的。比如,對於管理能效高,自上而下推動力強的企業,顯然集中式是最佳的選擇。對於存在多源異構資料的企業,資料資源豐富、需要調動不同業務條線的資料意識和積極性,聯邦制可能更適合。

4、建章立制

在以前的資料治理活動中,很多大程度上規章制度是缺位的。資料治理往往以運動的方式出現,“醒時同交歡,醉後各分散”,雷聲大雨點小,運動過後無人問津,一切都回歸原點。資料治理的建章立制的過程,也是“立法”的過程,需要明確資料的管理職責、管理流程,形成常態化治理機制,實現資料的“長治久安“。

四、資料治理的發展趨勢

從目前來看,資料治理的發展趨勢,有很多方面已經很明確了,比如資料治理與AI的結合、資料安全與資料治理的深度融合、資料價值呈現成為資料治理的關注焦點。以上思路毋庸多言,我想重點分享一下下面的觀點:

1、業務牽引的精細化治理,成為趨勢

傳統大水漫灌式的資料治理方式,正在被業務場景聚焦的精細化方式取代,開始嘗試重點突破關鍵和核心業務場景,在區域性和小範圍進行推進,取得成效以後再進行推廣。同時,不同行業和領域對資料治理能力的需求迫切程度也不一樣,比如金融資料治理重點關注資料標準化,多源異構資料較多和離線實時資料並行的場景更關注資料質量監測,需要按照結合行業屬性和業務特點進行有針對性的精細化治理,杜絕頭疼醫頭腳疼醫腳。

2、全鏈路資料跟蹤監測體系和資料質量基線需要持續關注

說起資料質量監測,這正成為資料治理取得價值突破的重要抓手。面對大量多源異構資料和不同業務場景下,離線和實施資料並存的情況,全鏈路資料跟蹤監測體系顯得尤為重要,需要從資料來源、資料模型到資料應用的全鏈路監控,監控資料調取、資料執行狀態和資料質量事件。同時,我們需要及時構建資料質量運維基線,根據任務要求建立合理的基線預警,對資料質量問題早發現早處置。關注持續的任務關聯性和影響性分析(有點像業務連續性裡面的業務影響性分析),基於全鏈路的資料血緣,梳理上下資料依賴關係,及時通報及時修復。

3、資料治理和資料平臺一體化建設

資料治理體系和資料平臺建設,往往沒辦法依照“發現問題、分析問題、解決問題”的路徑去落地,會受很多問題的制約和限制。解決資料問題,通常有兩個思路:

一是一是從平臺架構、技術方面思考解決方法。這個方向就是資料中臺,資料中臺中的“一切業務資料化、一切資料業務化”的思想,體現出來的資料資產化、後設資料管理等等跟資料治理思想一致。二是透過資料治理解決問題。在這個方向上,資料治理從資料資源目錄梳理、資料標準建立開始,逐步推動資料資源服務和資料能力服務兩大板塊。

因此,資料平臺建設與資料治理正在深度融合,按照一體化建設的思路向縱深發展。

4、DataOps資料開發治理一體化

近幾年,DataOps資料開發治理一體化在業界非常受歡迎。部分數字化轉型較早、資料資源條件優厚的企業,借鑑傳統DevOps的理念,將原本分散的資料治理、管理、開發和應用等環節打通,形成一個無縫銜接的大閉環,去破解企業在資料應用中的難題。

究竟什麼是DataOps,在現在階段不太好定義。維基百科對DataOps的定義是一種面向流程的自動化方法,由分析和資料團隊使用,旨在提高資料分析的質量並縮短資料分析的週期,簡而言之,就是提供一整套工具和方法論,讓資料應用的開發和管理更加高效。顯然,這個定義有點籠統又不明確。

我們一般理解,DataOps的目標是為了使資料資源和資料應用的開發變得更加有序和可控,實現元件和能力重用以及過程自動化,實現面向使用者的自助式資料分析。DataOps在資料開發運營體系化方面,可以作為資料中臺建設必須參考的一個方法論。DataOps 強調的是資料應用的開發和運維效率,就像DevOps 一樣,DataOps 希望透過提供一整套工具和方法論,來讓資料應用的開發和管理更加高效。

如果說資料中臺是資料戰略層面的,筆者理解DataOps就是戰術層面的。

來自 “ twt企業IT社群 ”, 原文作者:twt社群;原文連結:https://mp.weixin.qq.com/s/QRa1TXfykRWfkIV0ZuPvoA,如有侵權,請聯絡管理員刪除。

相關文章