資料中臺即服務——資料中臺的四大支柱
中臺概念,2015年誕生,2019年爆火,在最火的時候被很多人當成了“無所不能”的,只要是IT的問題,就一個藥方——上“中臺”!於是乎,很多企業都爭先恐後,紛紛走上了上中臺的路。
但似乎“好景”不長,2019年末“中臺”的大潮還未退卻,就已經傳出了對中臺的質疑聲——“中臺,我信了你的邪!”。到了2020年對中臺的質疑、唱衰、乃至討伐的聲音更是此起彼伏,在加上中臺的鼻祖——“阿里,徹底拆中臺了”,讓中臺徹底跌下了“神壇”。而作為眾多“中臺”核心成員之一的“資料中臺”,似乎成了“中臺”家族的最頑強的那個,在沸沸揚揚“中臺”質疑聲中苦苦地掙扎著……
01
我們在談「資料中臺」的時候,到底在談論什麼?
在過去了兩年裡,我做了一些關於的資料中臺研究,也寫了幾篇資料中臺的文章,試圖去理解和定義清楚“什麼是資料中臺”。過程中,我發現不同的人對“資料中臺”的理解是不一樣的:
有人認為:資料中臺是一個方法論,用來指導企業實現“業務資料化、資料業務化”;
有人認為:資料中臺是一個管理和使用資料的思維模式,核心是資料資產的沉澱;
有人認為:資料中臺是大資料平臺的延伸,是大資料的下一站;
有人認為:資料中臺是對內進行資料共享,對外提供資料開放的資料服務平臺;
也有的人將資料中臺當做一個產品,常常拿它與資料倉儲進行功能比較。
以上對於說法各有各的道理,可以說都正確,只是在不同的場景下的不同理解而已。當我們設計和構建資料中臺時,我們致力於提供其他團隊開發專案所需的能力和工具。但是,要想讓資料中臺真正發揮價值,單純理念、產品、技術或方法論某一個方面去理解和定義它,是不行的。
資料中臺的定義:資料中臺是集組織機構、實施方法、管理流程與規範、技術與工具為一體的解決方案。
說資料中臺是一個解決方案沒問題,但太過籠統,筆者試著對這個定義做一個細化和最佳化。筆者認為:資料中臺更像是一個資料產品或資料服務的資料能力工廠,它由“產品導向、資料服務、敏捷團隊、賦能中心”四大支柱支撐,提供資料資產加工,資料分析和應用,資料服務輸出等能力——資料中臺即服務。
● 產品導向:這是提供給使用者的資料平臺、所有特性和功能,是工具和技術層面的內容,負責管理、加工、處理、運營資料。
● 敏捷團隊:這是最重要的、確保資料中臺成功最大的支柱,是實現新的資料運營模式——DataOps的關鍵。
● 資料服務:這是資料中臺的靈魂,透過資料中臺讓使用者在不付出大量努力和成本的情況下實現的結果,為使用者提供價值。
● 培訓賦能:這是讓資料用起來的重要手段,它也是一項服務可以獨立突顯價值。
02
資料中臺支柱一:產品導向
資料中臺是在資料倉儲、大資料平臺基礎之上發展起來的,都想“去其糟粕取其精華”形成一個理想的資料中臺架構。但“理想很豐滿,現實很骨幹”,在不同公司中,存在不同的現狀和需求,沒有一個資料中臺可以匹配所有的業務需求。
因此,資料中臺的建設應該建立在深刻理解企業需求並關注“未來發展”的基礎之上。
從產品側看,資料中臺應包含的能力和特性有:資料資產化、資料目錄、資料質量、DataOps、資料服務、系統監控等。在企業環境中,提供這些特性的方法是:產品導向。即,以使用者為中心,採用敏捷方法,透過MVP——最小可行的產品,定期獲得使用者反饋,快速迭代,持續改進,構建和沉澱資料服務能力。
我們提供了基於產品導向的資料中臺架構設計的9個實踐,供參考:
1
傾聽使用者(含潛在使用者)的聲音並嘗試瞭解他們的需求及使用者體驗。
2
定義資料中臺的定位和長期目標,資料中臺一定不是一個通用的工具,每個企業的資料中臺都應該有自己的“使命”。
3
全面的資料中臺架構設計,定義哪些是常用功能,哪些是重要功能,定義儘量簡化的業務場景,方便客戶實現目標。
4
以MVP(最小可行產品)方式進行開發,及時與使用者分享,以獲得使用者的初步反饋。
5
循序敏捷開發,不斷最佳化改進。
6
清晰的產品路標設計,讓老闆和關鍵使用者能夠看到你現在在哪兒,要到哪去,以及定期獲得使用者的反饋。
7
資料中臺的規劃設計,MVP的開發都要一開始就致力於為使用者提供價值,同時獲取使用者的反饋。使用者需求不是一成不變的,資料中臺必須不斷變化,變化是資料中臺生命週期的一部分。
8
資料中臺技術路線最好選擇雲原生架構,微服務、DevOps、容器雲等將使得資料產品的開發變得敏捷。
9
最後也是最重要的是要記住:資料平臺也好,資料中臺也罷,擁有最好的架構並不重要,再好的產品如果沒有人使用它或者晚了兩年用,那樣就失去意義了。
03
資料中臺支柱二:資料服務
在筆者看來,資料中臺最重要的不是中臺而是資料,但“純粹”的源資料嚴格來說還也不是資料中臺的一部分,需要將其加工、處理、標準化形成資料服務和資料產品。資料即服務——這是資料中臺的靈魂。從這個角度講,資料服務是資料中臺的核心,並直接為使用者提供價值。
資料中臺提供的能力包括:資料資產管理,公共資料服務,垂直資料服務,資料服務開放共享,資料運營,中臺管理等。資料中臺即服務,每一項中臺的能力都是為服務使用者而生!
1
公共資料服務
● 資料整合化,以正規化化的主題模型整合異構資料來源資料,形成一數一源(One Data);
● 資料服務化,遮蔽上游資料結構變化對下游的影響;
● 資料標準化,統一業務和技術對資料的理解和認知。
2
垂直資料服務
● 整合內外部資料來源,提供單線條垂直資料服務能力;
● 提供貼源的資料儲存和服務,基於批處理或流媒體建立和自動化資料可靠管道。
3
資料萃取服務標
● 統一ID,提供跨系統、跨裝置、統一的資料標識(One ID);
● 統一標籤體系,支援加工和提煉資料標籤;
● 統一指標體系,支援加工和儲存並提供統一指標資料;
● 一般不建議將複雜的加工萃取資料方式放在資料中臺,如計算引擎,那是資料平臺該乾的活兒。
4
資料開放共享服務
● 提供多樣的資料服務方式,將資料中臺的資料提供給資料應用方使用;
● 提供定製化模板服務,資料以約定的格式或複雜加工後,提供資料應用方使用。
5
資料資產管理
● 提供統一的資料資產地圖,資料目錄和自助資料服務能力;
● 提供資料治理能力,統一資料標準和用數規範。
6
資料中臺運營
● 支援資料資產日常運營,提升資料資產價值;
● 提升需求響應效率,加速應用研發迭代效率。
7
資料中臺管理
● 提供資料管理、專案管理、開發管理、運營管理等支撐能力,為資料中臺的持續化資料服務保駕護航。
04
資料中臺支柱三:敏捷團隊
如今市場需求千變萬化,“及時性”比以往任何時候都更加重要,資料中臺需要將合適的資料及時送達使用者,要做到這一點實際上並不容易。
我們知道,中臺是一種“中心化”的組織模式,“中心化”意味著極強的管控能力,標準化能力、統一排程和複用能力。但“中心化”也有個很大缺點:這個“中心”一旦建的過大,就會陷入瓶頸,公司所有部門集中向一個團隊提交用數需求,更多的任務將超出資料中臺團隊的能力範圍,從而讓“資料中臺”變得臃腫而效率低下。
資料中臺需要更加自動化的平臺能力和更加敏捷的團隊,以使用者需求為中心,以協同協作的方式,支援業務與技術的團隊融合(混合團隊),鼓勵團隊協作和知識共享。對傳統企業而言,建立敏捷的協作團隊並不容易,一開始需要很多努力,但從長遠來看對企業會有很大幫助!
資料中臺中的敏捷團隊重點關注的是“DataOps”——資料操作或資料運營,可以理解為資料的DevOps,目的是“讓資料用起來”。DataOps揉和了DevOps理念中快速敏捷、持續整合等關鍵點,強調透過調整文化、流程和使用的工具,實現團隊的融合和工作的協同,持續迭代資料架構,快速提升業務價值。
資料中臺敏捷團隊的角色構成:
產品經理:負責定義業務目標,維護和執行資料願景、戰略等。
解決方案架構師:負責定義的需求和要求一致的整體技術藍圖。
資料工程師:資料中臺的核心技術團隊,負責構建整個資料“供應鏈”,瞭解Hadoop、Spark、Kafka等技術體系架構,建立資料模型,實現資料採集、流轉和儲存,為資料整合提供支援。
資料治理團隊:負責資料質量和安全的處理和預防,確保業務目標的完成。有時候,也會將資料治理團隊作為DataOps的一個分支。
BI團隊、資料科學家團隊是實現“DataOps”關鍵組成,負責資料的探索、挖掘、分析以及資料的視覺化。為業務問題提供支援,幫助理解業務問題、梳理資料結構、最佳化資料質量等。
業務使用者:提供用數需求是資料中臺服務的終端使用者。業務使用者基於資料中臺的自助服務能力,進行資料的探查、探索,以及自助式資料分析。
05
資料中臺支柱四:培訓賦能
在傳統企業,資料中臺對於大部分人員來說還是個新事物,要讓各部門、各團隊習慣使用資料中臺,其實是個並不容易的事情。除了有了新的技術要求,更重要的是資料中臺有一套新的流程和方法。有效的溝通和培訓十分重要,有利於提高資料中臺的使用率。
在數字化轉型的大背景下,培訓賦能是一個被廣泛提及的話題,即透過培訓的方式賦予人或團隊的某些能力, 主要包括:技術賦能、資料賦能、工具賦能等。
培訓是賦能的一個重要手段,但在實際的操作過程,往往也存在一些問題,導致培訓賦能的效果並不理想,例如:
● 參與培訓的學員,往往將培訓當成為一個臨時的任務,他們中的一部分還有很多工作,所以他們並沒有完全專注於培訓的課程。
● 一部分學員在培訓過程中,經常受到其他事項的干擾,導致沒有完成完整的課程。
● 即使部分學員完成了完整的課程,可一旦正式使用還是不會用。
● 那麼,這些培訓是不必要的嗎?當然不是,但您可能需要調整一下培訓的方法和內容。實戰例子、參考程式碼、練習,全程的支援,將傳統“授課式”培訓轉變為“實戰式”培訓,並及時獲得反饋。
讓業務使用者真正參與到資料團隊中來,參與意味著幫助設計、開發和資料中臺運營。這種方法能夠業務團隊能夠鞏固專業的資料中臺知識,並讓自己也成為知識的生成者。資料中臺團隊也會受益,因為他們更加能夠切身瞭解業務使用者的實際需求。
在整個資料中臺運營過程中,技術團隊的職責重點關注基礎設施元件的建設、資料服務能力的開發和資料供應鏈協調。同時,還有一個重要的職責就是“培訓賦能”,為業務使用者提供資料中臺使用的教練和輔導服務。
寫在最後
產品導向、資料服務、敏捷團隊、培訓賦能是構成資料中臺的四大支柱,是“讓資料用起來”的基礎,缺少一個都會使整個架構不穩。同時,資料中臺重點關注DataOps,為不同的業務使用者提供不同的“資料管道”,實現資料價值。
來自 “ ITPUB部落格 ” ,連結:https://blog.itpub.net/70035284/viewspace-3000093/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 資料中臺
- 資料中臺:資料服務的架構設計實踐架構
- 走好資料中臺最後一公里,為什麼說資料服務 API 是資料中臺的標配?API
- 資料中臺:宜信敏捷資料中臺建設實踐敏捷
- 資料中臺是什麼意思?如何建設資料中臺?
- 【資料中臺商業化】資料中臺微前端實踐前端
- 為什麼說資料服務是資料中臺的標配?
- 資料中臺(安全篇)
- 資料中臺(資料整合篇)
- 資料中臺和平臺區別在哪
- 10張架構圖詳解資料中臺,附全套資料中臺PPT架構
- 地產業 X 資料中臺產業
- 資料中臺(介紹篇)
- 資料中臺(方法論篇)
- 資料中臺(架構篇)架構
- 資料中臺(資料資產管理篇)
- 資料中臺的思考與總結
- 談一談資料中臺的原罪
- 資料中臺中的核心概念解析
- 對資料中臺的梳理與思考
- 去除後臺返回資料中的nullNull
- 資料中臺從何而來
- 到底什麼是資料中臺?
- 為什麼要用資料中臺
- 宜信資料中臺全揭祕(一)資料中臺整體介紹|分享實錄
- 資料平臺、大資料平臺、資料中臺……還分的清不?大資料
- 業務中臺會吞併資料中臺嗎?
- 資料治理與資料中臺架構架構
- 論資料中心與資料平臺
- 奇點雲資料中臺技術匯(七) | 資料智慧模型——資料中臺航母的作戰叢集模型
- 資料中臺的前世今生 :帶你全面瞭解阿里巴巴做資料中臺的歷史阿里
- 資料中臺以及資料倉儲的介紹
- 2019,資料中臺元年
- 資料倉儲資料中臺區別在哪?
- 資料中臺演進的四個階段
- 資料中臺的終局是將資料變現
- 如何從零開始建設資料中臺?
- 供應鏈域資料中臺設計