10張架構圖詳解資料中臺,附全套資料中臺PPT
資料中臺到底是什麼,幾年過去了,一直眾說紛。
筆者認為資料中臺不應該是一個單純的系統或者是一個軟體工具,而應該是一套架構、一套資料流轉模式。
資料中臺需要採集資料作為原材料進行資料加工、資料建模、然後分門別類地儲存,再根據實際的業 務場景,打造各類資料服務(含資料應用平臺)從而實現對業務的賦能加速。
但以上流程的實現,需要有對應的系統與產品作為支撐,那麼基礎的資料中臺到底應該由哪些系統或者產品組成?
這裡我們可以先來看一下幾個企業的資料中臺架構, 文末也分享了10份資料中臺實踐案例合集,從多家公司的完整實踐經驗看下來,應該能一窺究竟。
資料中臺總體架構圖
資料中臺是在底層儲存計算平臺與上層的資料應用之間的一整套體系。資料中臺遮蔽掉底層儲存平臺的計算技術複雜性,降低對技術人才的需求,讓資料的使用成本更低。透過資料中臺的資料匯聚、資料開發模組建立企業資料資產。
透過資產管理與治理、資料服務把資料資產變為資料服務能力,服務於企業業務。資料安全體系、資料運營體系保障資料中臺可以長期健康、持續運轉。
阿里巴巴資料中臺
全域資料採集與引入:以需求為驅動,以資料多樣性的全域思想為指導,採集與引入全業務、多終端、多形態的資料。
標準規範資料架構與研發:統一基礎層、公共中間層、百花齊放應用層的資料分層架構模式,透過資料指標結構化規範化的方式實現指標口徑統一。
連線與深度萃取資料價值:形成以業務核心物件為中心的連線和標籤體系,深度萃取資料價值。
統一資料資產管理:構建後設資料中心,透過資產分析、應用、最佳化、運營四方面對看清資料資產、降低資料管理成本、追蹤資料價值。
統一主題式服務:透過構建服務後設資料中心和資料服務查詢引擎,面向業務統一資料出口與資料查詢邏輯,遮蔽多資料來源與多物理表。
網易嚴選中臺架構圖
資料中臺的下層是資料平臺,資料平臺主要解決跟業務無關的問題,主要是大資料的儲存和計算問題。
資料中臺的上層就是資料前臺,主要包括 BI 報表、資料產品和業務系統。資料中臺首先賦能分析師透過 BI 報表的形式來驅動業務精細化運營。如下圖所示,基於數倉裡已經半加工好的資料,再透過BI 平臺快速的根據業務需求進行資料視覺化和資料分析
網易雲音樂資料中臺架構
最底層是基礎設施層,這包括資源環境和平臺工具兩部分
第二層是資料層,資料層即網易雲音樂的 OneData,包括後設資料中心、標準化數倉、資料地圖、統一指標體系、資料安全中心和保障這套體系的資料質量管理中心。
第三層是服務層,服務層即網易雲音樂的 OneService。它提供不同層級和粒度的資料 API,包括從最底層的任務執行排程能力,到最面向應用的人群圈定的各類服務能力。
最上層是產品層,針對一個個核心業務問題(增長、營收、版權)搭建了對應資料產品,實現從業務流程、資訊採集、資料洞察到 ROI 評估再到業務流程的完整閉環
轉轉資料中臺
資料模型、資料服務與資料開發,透過資料建模實現跨域資料整合和知識沉澱,透過資料服務實現對於資料的封裝和開放,快速、靈活滿足上層應用的要求,透過資料開發工具滿足個性化資料和應用的需要
某企業資料中臺架構圖
下面這個資料中臺,根據資料資產梳理結果,並以大資料平臺的“資料採集+海量儲存+計算引擎”為基礎搭建公司資料湖,再基於資料湖並結合“資料資產管理服務”和“智慧資料研發服務”兩大支撐服務群實現中臺資料的資產化管理和智慧化開發,達到快速應對各類資料需求的目標,也實現一整套基於寬表結構、分主題的基礎資料,然後實現對外提供資料服務的統一介面,並最終形成匯聚公司資料及其服務的中臺,為實現資料賦能的資料應用和產品提供全方位的基礎資料以及各類服務支援。
農行資料中臺架構
農行“薄前臺、厚中臺、強後臺”IT 架構體系中對前中後三個層次描述得更為明確,將大資料平臺和 PAAS、IAAS 基礎設施劃入了後臺。
根據以上企業的資料中臺實踐,我們不難看出,所有的資料中臺建設,都是圍繞著企業資料的採集接入、加工儲存、統一管理與資料服務4項能力來開展的。
但無論如何,我非常建議大家多看看不同企業的中臺架構圖和建設方案,內化自己對中臺的理解,而不是盲目跟風、照搬其他公司的中臺架構和建設藍圖,比如你真要照著阿里的方式做,基本就把自己的資源耗光了,也很難換來價值產出,也不要倉促地去購買商用的資料中臺套件,沒有什麼較佳路徑是可依賴的,每個企業所處的資料和業務階段都不同,始終要根據你這個企業所處的階段、一線對於資料的真實需求做出合理的判斷和選擇。
最後,分享一些我手中珍藏的中臺相關的建設方案和報告,推薦大家去看看。
獲取方式:
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/21472864/viewspace-2790512/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 資料中臺(架構篇)架構
- 資料治理與資料中臺架構架構
- 阿里雲產品之資料中臺架構阿里架構
- 資料中臺
- 企業級大資料中臺架構實戰大資料架構
- 10張圖全面細緻解密阿里資料中臺建設原理、實踐解密阿里
- 【資料中臺商業化】資料中臺微前端實踐前端
- 資料中臺:宜信敏捷資料中臺建設實踐敏捷
- 資料中臺是什麼意思?如何建設資料中臺?
- 企業級大資料中臺架構實戰【3】大資料架構
- 企業級大資料中臺架構實戰【1】大資料架構
- 資料中臺:資料服務的架構設計實踐架構
- 資料中臺即服務——資料中臺的四大支柱
- 2019,資料中臺元年
- 資料中臺(安全篇)
- Sentry 監控 - Snuba 資料中臺架構(Query Processing 簡介)架構
- Sentry 監控 - Snuba 資料中臺架構(Data Model 簡介)架構
- 資料中臺(資料整合篇)
- 資料中臺和平臺區別在哪
- 數智洞見 | 資料中臺架構解析及未來展望架構
- Sentry 監控 - Snuba 資料中臺架構簡介(Kafka+Clickhouse)架構Kafka
- 資料中臺(方法論篇)
- 資料中臺(介紹篇)
- 資料中臺的前世今生 :帶你全面瞭解阿里巴巴做資料中臺的歷史阿里
- 資料中臺(資料資產管理篇)
- 為什麼要用資料中臺
- 地產業 X 資料中臺產業
- 資料中臺從何而來
- 到底什麼是資料中臺?
- 宜信資料中臺全揭祕(一)資料中臺整體介紹|分享實錄
- Sentry 監控 - Snuba 資料中臺架構(SnQL 查詢語言簡介)架構
- DKHadoop大資料平臺架構詳解Hadoop大資料架構
- 萬字詳解資料倉儲、資料湖、資料中臺和湖倉一體
- 資料中臺中的核心概念解析
- 資料中臺的思考與總結
- 對資料中臺的梳理與思考
- 談一談資料中臺的原罪
- 乾貨|資料中臺安全體系構建方法論