資料中臺建設要秉承“三步法”
資料中臺涉及的核心能力廣泛,企業從零開始建設資料中臺的過程複雜且工作量龐大,結合企業自身業務和資料的規模情況,多數具備一定規模的大中型企業透過多期專案分階段建設資料中臺成為必然選擇。《資料中臺能力成熟度模型》系列標準的框架中,在全面覆蓋資料中臺六大能力的同時,也體現了各類能力對應的不同階段層次,據此可大致的將企業資料中臺的完整建設過程分為三個階段:以平臺工具建設和架構體系設計為主的第一階段;以資料治理和資料開發工作為主的第二階段;以統一資料服務建設和資料資產運營為主的第三階段。
圖1 資料中臺各建設階段對應能力
一
資料中臺的第一階段建設
資料中臺的第一階段建設以最為基礎的各項能力建設為主,其中不可或缺的包括對於技術平臺工具的搭建,以及完成基礎資料架構及技術架構的設計。但在此之外,並不代表在第一階段的建設中可以完全不涉及其他方面的能力,後續各項能力的順利建設缺少不了在第一階段中適宜的前瞻設計與考量。第一階段的建設工作總體來說包含三部分的能力建設。
第一部分是技術工具的建設。對於在立項建設資料中臺之前資訊化水平並不高的企業,企業內部資料僅依賴業務系統自帶的資料庫分散儲存,缺乏統一的資料管理系統及對資料進行進一步開發處理和分析的技術工具。在此情況下,面向企業希望對自身資料進行有效利用的需求,補足基礎的資料儲存、計算、開發、分析工具是首當其衝的,由此引入諸如大資料平臺、分析型資料庫、資料開發平臺、BI工具等技術平臺工具成為建設企業資料中臺的第一步。同時,在這些最為基礎的工具之外,企業還可以根據自身可能存在的潛在需求,補充建設資料湖、流處理平臺、資料探勘平臺、圖計算平臺、知識圖譜工具等其他通用平臺工具。
第二部分是架構設計的工作。對於前期資訊化基礎水平較低的企業,在還未形成體系化的企業資料及資訊系統架構的情況下,架構設計是能夠為後續資料中臺建設打下堅實基礎的關鍵工作。在架構設計的資料架構設計工作中,結合業務需求及業務架構,透過對資料流向和資料分佈的梳理,可以發掘最符合企業需求的資料架構構建方式和形態,同時經過合理的資料分層和分域,可以有效的完成以傳統資料倉儲為基礎的企業級資料架構設計。在技術架構設計工作中,根據擬引入的技術工具及各工具模組的應用方式和場景,透過合理的選型和整合,實現整個系統間各工具模組的有效互動,確保資料在各技術工具之間的順暢流動。
第三部分是面向未來擬建設各項能力的基礎性建設工作。在完成技術工具的建設和架構設計的工作後,面向其他未建設的能力,企業實際上已經完成了部分能力體系設計和通用工具建設方面的基礎性工作,為後續其他能力的建設打下了部分基礎。在此之外,為保證後續其他能力建設的效率和效果,仍有部分工作可在此階段完成,例如:組織架構調整的設計與落實,包括確定是否建立專門的資料中臺管理部門,是否為後續組建專門的資料開發服務、資料運營團隊預留架構空間和儲備人員等;流程制度的建立,包括明確資料中臺各項工作職能和實施細則的制度檔案,面向未實現的各項能力提前做出規定,如面向資料管理工作先行給出全域性性的宏觀資料管理制度;技術工具的完善,除滿足企業利用資料可能需求的各項基礎技術工具之外,額外面向未來可能的資料管理及資料資產運營工作的需求搭建資料管理平臺、資料資產運營平臺等相應平臺工具,甚至進一步的可利用工具實際完成企業內部全域性資料資產的梳理,給出供內部參考的資料資產目錄等。
二
資料中臺的第二階段建設
資料中臺的第二階段建設以維持資料中臺運轉、提升資料中臺可用性的能力建設為主,其中重點包括資料開發能力和資料管理能力的建設。第二階段的建設主要包括兩個部分。
第一部分是資料開發能力的建設。資料開發是持續對企業內部資料進行加工處理,進而滿足企業內部其他人員用數需求的過程。對於前期未建立起企業用數流程,仍由少量人員根據臨時需求進行一事一議的取數及處理的企業,該部分建設的核心工作之一是建立企業內部的標準化資料開發流程,在此目標下需配套的完成資料開發團隊的設立、標準開發流程的設立、專職開發人員的設立等工作。同時在開發流程能力建立完善的基礎上,可進一步根據自身情況完善對於開發流程的管理和開發環境的管理能力。需要注意的是資料開發過程涉及到了資料的全生命週期,在執行開發的過程中不免會對資料中臺的其他方面產生影響,例如開發過程是否會產生新的中間表、是否會形成新的資料質量問題等,由此可見第二階段的相關能力建設將進入到涉及面更廣,建設過程更需要考慮宏觀效果及影響的階段。
第二部分是資料管理能力的建設。資料管理是一項由來已久的企業內部管理工作,當下業內已對資料管理工作做出了相當全面的定義和闡釋,然而對於大多數剛剛完成前期資訊化基礎建設工作的企業來說,企業內部的資料管理工作仍留有大量空白。在資料中臺的建設過程中,如果已完成了第一階段的前期建設,在第二階段資料管理建設時的主要目標是提升資料中臺內資料的可用性,其核心工作包括對於企業內部全量資料的梳理、制定資料標準和資料質量規則、實際按照標準和規則落地實施等相關工作。資料管理部分的工作需要大量的人力實踐,部分企業在此環節僅重視並完成了相關制度檔案、標準、質量規則等的產出,但在實際依據相關檔案整改企業內部資料並長期維護確保資料質量持續線上等方面缺乏持續性的決心和投入,也成為了資料中臺第二階段建設的重要問題。
三
資料中臺的第三階段建設
資料中臺的第三階段建設以能夠發揮或促進發揮資料中臺價值的相關能力建設為主,其中重點包括資料服務能力和資料資產運營能力的建設。第三階段的建設主要包括兩個部分。
第一部分是統一資料服務的建設。資料服務是資料中臺面向企業內部業務應用方的統一視窗,是資料中臺對業務人員來說唯一可以直觀感知的部分。資料中臺究其本質目標是讓企業內部的資料轉化為業務價值,資料服務則是能夠讓業務人員使用資料產生價值的直接手段,因此資料服務的建設往往成為企業資料中臺第三階段建設的核心工作,同時資料服務能力建設的關鍵方向也是更強的可用性和易用性。一方面,資料服務應儘可能全面的滿足業務人員的用數需求,提供不同形式的服務方式,區分實現共性和個性化的需求,在集中滿足共性需求的同時,為個性化需求提供便捷易用的自助服務方式。另一方面,資料服務建設時還需重點考慮統一性,即在統一的門戶上以相近的流程方式為使用者提供全面的資料服務。部分有一定資訊化基礎的企業存在大量資料服務分散建設的情況,使用者使用時需操作多個不同平臺或經過大量跳轉,極大的造成了資料服務能力的割裂感以及使用難度。
第二部分是資料資產運營能力的建設。在資料中臺提供的服務滿足業務方各項需求的前提下,進一步的工作便是如何讓業務人員更好的使用資料。從企業全域性的視角來看,如何全面促進企業總體資料資產的使用是核心問題。在建設企業資料資產運營能力的過程中,需要提前對運營工作做出全域性規劃,制定運營的相關制度和策略,同時從成本和價值的角度制定相應評價體系,持續性的執行運營及最佳化改善動作。運營是一個相當寬泛的概念,在具體執行中,能力宣介、使用推廣、文化培養、評價反饋、分析最佳化等各環節工作都有眾多可嘗試的執行形式,從讓業務人員更容易、更願意參與的角度選擇適宜的執行形式將更有助於整體運營工作的開展。
四
三階段建設完成後的工作
在完成第三階段建設工作後,並不意味著資料中臺的能力已經完善,伴隨著資料中臺能力的進一步充實,大量持續性工作是否到位,是後續資料中臺能否充分發揮價值的重要影響因素。
第一是場景化資料需求的持續發現和補足。可利用資料最佳化提升的業務場景是資料中臺重要的建設依據。對於部分業務種類繁雜,場景難以列舉的企業,一次性的實現對於所有場景資料需求的支援是不現實的,由此資料中臺的多期建設中除去分階段完善各項能力之外,對各業務條線場景化資料需求的持續梳理也是各期建設中的重點,甚至在能力建設完成之後仍需要分多期專案持續補足對於更多業務場景的支援。
第二是對資料中臺應用效率的衡量以及持續運營。資料中臺的建設無疑投入重大,但建設後的使用環節是否高效仍影響著資料中臺實際的執行效果,因此建設後應同時開始對於資料中臺使用效率的衡量,及時發現使用過程中存在的問題,降低部分流程的空轉率以及部分服務的閒置率,同時持續運營增強業務人員對資料中臺的接受度以加大使用,從而產出更多價值。
第三是企業人員資料素養的持續提升。資料中臺能產出多少價值最終仍直接取決於使用其服務內容的實際業務人員,資料中臺對於業務人員需求的滿足效率和效果也部分取決於執行資料開發、資料管理工作的人員能力,由此對於人員能力的提升是長期且不應間斷的工作,其中大量企業仍存在業務人員資料素養不足,無法理解資料存在的潛在價值進而不重視對於資料進行利用的情況,全方位提升業務人員的資料素養可能在未來成為提升資料中臺產出價值的最有效手段。
來自 “ 大資料技術標準推進委員會 ”, 原文作者:CCSA;原文連結:https://mp.weixin.qq.com/s/L_j3AMpk4quXw0aX4frkjQ,如有侵權,請聯絡管理員刪除。
相關文章
- 資料中臺:宜信敏捷資料中臺建設實踐敏捷
- 資料中臺是什麼意思?如何建設資料中臺?
- 國企如何進行資料中臺建設?
- 從資料中臺到AI中臺,企業到底要建什麼中臺?AI
- 思邁特軟體Smartbi:資料中臺建設成功的三個階段
- 遊戲行業應該如何建設資料中臺?遊戲行業
- 怎麼建設全渠道會員資料中臺系統?
- Xintell——全生命週期的模型建設+智慧資料中臺Intel模型
- DTCC 2020:淺談企業資料中臺建設實踐
- 小米資料中臺建設實踐賦能業務增長
- 數字化轉型趨勢下的資料中臺建設之道
- 10張圖全面細緻解密阿里資料中臺建設原理、實踐解密阿里
- Whalestudio助力西南某商業銀行資料中臺建設 | 實踐探索
- 資料中臺建設中的“通用化+標準化+敏捷性”敏捷
- 資料中臺
- 正確的建設資料中心機房
- 供應鏈域資料中臺設計
- 如何從零開始建設資料中臺?
- 史上最強攻略!手把手教你建「資料中臺」!
- 乾貨|資料中臺安全體系構建方法論
- 談談資料中臺建設中的“通用化+標準化+敏捷性”!敏捷
- 百分點科技:媒體資料中臺建設方法論和落地實踐
- 【資料中臺商業化】資料中臺微前端實踐前端
- 資料中心機房建設標準規範
- 習近平:建設國家大資料中心大資料
- 資料中心到底是如何建設的?
- 雲上的可觀察性資料中臺,如何構建?
- 資料中臺即服務——資料中臺的四大支柱
- 應用實踐 | 蜀海供應鏈基於 Apache Doris 的資料中臺建設Apache
- 2019,資料中臺元年
- 資料中臺(安全篇)
- 新型資料中心的建設及發展啟示
- 民生銀行資料中臺體系的構建與實踐
- 全國首個資料中臺後設資料標準
- 摩杜雲:構建資料中臺安全,保障企業核心資料安全
- 資料中臺(資料整合篇)
- 資料中心也能“上天入海”?探索綠色資料中心的建設方案|聯瑞網路卡
- 10張架構圖詳解資料中臺,附全套資料中臺PPT架構