資料倉儲架構分層設計
資料倉儲架構分層設計包括STG(資料緩衝層)、ODS(資料操作層)、DWD(資料明細層)、DWS(主題彙總層)和ADM(資料應用層)。
1、STG層
主要完成業務系統結構化資料引入到資料中臺,保留業務系統原始資料,緩衝層設計主要保持和資料來源的一致性,不做任何型別轉換和資料加工處理,為ODS層提供基礎資料服務。
2、ODS層
對STG層資料進行型別轉換或增量合併處理,得到的全量明細資料,為DWD、DWS和ADM層提供資料服務。
3、DWD層
明細寬表層,用於存放完整詳細歷史資料。面向業務過程建模,緊緊圍繞著業務過程來設計,通過獲取描述業務過程的度量來表達業務過程,包含了引用的維度和與業務過程有關的度量。其設計目標是為後續的Data Warehouse Model提供靈活性和擴充套件性的基礎,同時可以在DW層無法支援需求時直接為應用層提供資料。DWD層由於與業務系統耦合程度較高,其穩定性會受到業務系統的影響。
4、DWS層
存放詳細歷史資料的公共彙總資料層,面向分析主題建模。DWS是核心資料層,是為應用層提供足夠的靈活性和擴充套件性的基礎。
5、ADM層
提供直接面向業務或應用的資料,主要對個性化指標資料進行架構處理,如無公用性或複雜性(如指數型、比值型、排名型等指標資料)的指標資料加工。同時為方便實現資料應用、資料消費的訴求,進行面向應用邏輯的資料組裝(如打寬表集市、橫錶轉縱表、趨勢指標串等)。
相關文章
- 資料倉儲(6)數倉分層設計
- 分層架構在資料倉儲的應用架構
- 新興資料倉儲設計與實踐手冊:從分層架構到實際應用(二)架構
- 新興資料倉儲設計與實踐手冊:從分層架構到實際應用(三)架構
- 資料倉儲分層你清楚了嗎
- 資料倉儲分層概念之我見
- 資料湖+資料倉儲 = 資料湖庫架構架構
- [數倉]資料倉儲設計方案
- 資料倉儲為什麼要進行分層建設?怎麼分?
- 資料倉儲(7)數倉規範設計
- 資料倉儲(5)數倉Kimball與Inmon架構的對比架構
- SpringBoot資料響應、分層解耦、三層架構Spring Boot解耦架構
- 資料湖和中央資料倉儲的設計
- 如何設計分層架構和互動介面 API ?架構API
- 嵌入式軟體架構設計-程式分層架構
- 雲資料建模:為資料倉儲設計資料庫資料庫
- 資料倉儲之拉鍊表設計
- 資料湖 VS 資料倉儲之爭?阿里提出大資料架構新概念:湖倉一體阿里大資料架構
- 【架構設計】你的應用該如何分層呢?架構
- 美團DB資料同步到資料倉儲的架構與實踐架構
- 如何構建資料倉儲模型?模型
- 資料倉儲之大規模並行處理架構原理NY並行架構
- 架構設計之資料分片架構
- Nebula 架構剖析系列(一)圖資料庫的儲存設計架構資料庫
- 分層架構和SOA架構
- 【架構與設計】常見微服務分層架構的區別和落地實踐架構微服務
- Hive:資料倉儲構建步驟Hive
- 資料脫敏大資料架構設計大資料架構
- 分庫分表架構方案設計架構
- 資料倉儲架構到底選擇內部部署還是上雲?架構
- 馬蜂窩資料倉儲的架構、模型與應用實踐架構模型
- 資料倉儲主題域如何劃分
- 本地讀寫的多活資料儲存架構設計要義架構
- 【資料倉儲】|4 維度建模之事實表設計
- 讀資料湖倉08資料架構的演化架構
- 資料倉儲、資料集市、資料湖,你的企業更適合哪種資料管理架構?架構
- 讀資料湖倉04資料架構與資料工程架構
- 構建實時資料倉儲首選,雲原生資料倉儲AnalyticDB for MySQL技術解密MySql解密