資料大集中時代結束,資料治理新階段如何釋放資料價值?

qing_yun發表於2022-06-24

資料已經成為新的生產要素,在數字經濟時代擁有巨大的魔力。伴隨著資料技術不斷髮展,讓資料驅動決策幫助企業降本增效成為各企業的戰略目標,現代資料治理成為企業必修課。

根據日前IDC釋出《IDC 中國資料治理市場份額,2021:廣泛落地,持續增長》報告,對於具備較好的資料資源基礎的企業,普遍反映資料治理具有明顯的業務價值,能夠更快獲得洞察、縮減成本、增加使用者獲取以及提高產品上市效率等。

但是如何更好挖掘資料價值,做好資料治理,推動企業向資料驅動發展,仍然面臨著一些挑戰。

資料大集中時代結束

現在企業都意識到資料的價值,不過挖掘資料價值並沒有那麼一帆風順。沒有治理好的大量資料不但無法產出價值,反而可能成為企業的負擔。

資料治理是一個長期動態的過程,涉及到企業組織、流程、文化以及技術應用。單從技術層面來看,經過多年的IT實踐積累,企業組織已經積累了大量IT資產,可能有資料庫、資料倉儲、大資料平臺、資料湖、湖倉一體Lakehouse、BI等等,隨著資料技術日新月異發展,未來可能還會引入更多的資料技術,資料棧會不斷壯大。

為了解決海量結構化資料、半結構化資料、非結構化資料業務發展帶來的新問題,資料棧隨著業務壯大而不斷豐富,但也為資料治理帶來新的挑戰。

當前“取數難、用數難”依然是企業組織走向資料驅動的攔路虎,不能很好連通的多源異構系統也催生更多資料孤島。

正如IDC所說,中國資料治理市場經過幾十年的發展,市場需求已經發生了重大轉變。過去是面向單個數倉或者BI進行資料治理,單個主資料管理、後設資料管理、資料整合工具元件就能滿足需求。今天,企業內部的資料架構越來越複雜,要做好資料治理需要工程化的解決方案。

中國系統副總裁、資料創新BU總經理劉國棟認為,國內政企從0到1的大規模資料治理工作已經基本完成,資料治理已經進入新的發展階段。過去,企業一直在做中心化資料整合,是資料大集中時代,利用大資料以及資料湖等技術歸集資料,利用湖倉一體架構(Lakehouse)將資料湖與原有分析系統資料倉儲進行融合,“中心化的資料整合這件事情基本上到了一個階段了。”

劉國棟是資料技術領域的資深老兵,在出任中國系統副總裁、資料創新業務BU總經理之前,歷任明略科技 VP、QtumWare CEO、百分點集團 VP、京東金融集團總監、Vitria世界第一代CEP產品研發負責人、Teradata新一代大型分散式資料庫核心研發核心設計和研發主架構師、Intel Research Center In China從事面向視覺的搜尋引擎優化和CEP(複雜事件處理機)工程師等職位,對資料架構的變遷,以及資料治理的痛點和頑疾有著深刻理解。

為了解決“取數難、用數難”問題,未來資料也會去中心化。

“資料不動計算動”破解資料治理難題

圍繞著資料生命週期的治理難題,中國系統資料創新業務面向部委、省市政府、央企等海量大資料客戶,基於5大能力打造了資料創新產品體系,以全棧式資料中臺產品套件和廣義資料治理及分析應用的全棧服務能力,通過資料治理工程解決方案幫助擁有海量資料的客戶真正管好資料、用好資料、賦能業務創新,減少重複造輪子的問題。

其資料基礎設施中的智慧金倉融合分析平臺是該產品體系的核心產品,充分吸收資料技術前沿理論,如Data Fabric(資料編織)、Google Dremel、Spanner和Summingbird、CEP等,結合去中心化架構,多模資料管理、統一SQL等技術積累,可以實現資料不動,讓計算去找資料,智慧編排企業現有資料棧,挖掘資料價值。

據悉,使用者可以通過給定介面定義需求,智慧金倉融合分析平臺會通過編譯技術將需求編譯成指令流,指令流可以對到訪資料目的地、計算、順序等實現智慧排程,然後返回結果。使用者不需要知道資料在哪,也不用管資料架構的複雜性,只需要定義好需求,即可使用資料,助力資料平民化發展。

隨著《資料安全法》等與資料隱私等相關的法規條例陸續釋出實施,資料合規問題成為資料流通產生價值的掣肘,中國系統資料創新產品也包含了資料安全與合規產品。“資料安全與合規平臺跟我們之前瞭解的資料安全是完全兩個概念,之前的資料安全主要是資料放到那備份以及防洩露,現在基於新的法律法規體系,這套平臺和其相配套的諮詢體系主要解決資料生命週期的任何一個環節裡,使用資料、處理資料和管理資料的合規性。”劉國棟強調。

中國系統充分發揮資料創新產品組合優勢,在很多領域都有落地。比如在數字大理專案中,通過蒼洱雲、資料中樞、理政中心打包形成城市大腦,將優勢能力(雲+數+理)進行封裝,圍繞資料中臺能力體系,快速構建大理州6大基礎庫,5大主題庫,支撐全州多個典型應用場景,並使其可以快速呼叫。截止2021 年,中國系統資料創新產品及服務在政府、部委、央企、金融、能源等多個領域得到應用,客戶覆蓋全國22 個省、50 多個地市、40 餘家部委央企及行業客戶。

在《IDC 中國資料治理市場份額,2021:廣泛落地,持續增長》報告中,中國系統以12.8%的市場份額位列中國資料治理平臺市場前二,與阿里雲、騰訊雲等網際網路大廠齊頭並跑,成為央企中一枝獨秀的定位產品科技型公司服務政企資料治理的領軍者。

未來,在社會各方的推動下,資料要素市場化發展會釋放更多資料價值,而資料治理將貫穿資料生命週期,“為什麼說(資料)生命週期呢?它是有生命的,它是不斷迭代的。”劉國棟說,“資料治理,實際上是一個常態化的事情。” 據IDC預測,2022年中國資料治理市場規模增長將遠高於2021年的增長速度,中國系統資料創新業務未來可期。

來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69925873/viewspace-2902617/,如需轉載,請註明出處,否則將追究法律責任。

相關文章