資料倉儲架構分層設計
資料倉儲架構分層設計包括STG(資料緩衝層)、ODS(資料操作層)、DWD(資料明細層)、DWS(主題彙總層)和ADM(資料應用層)。
1、STG層
主要完成業務系統結構化資料引入到資料中臺,保留業務系統原始資料,緩衝層設計主要保持和資料來源的一致性,不做任何型別轉換和資料加工處理,為ODS層提供基礎資料服務。
2、ODS層
對STG層資料進行型別轉換或增量合併處理,得到的全量明細資料,為DWD、DWS和ADM層提供資料服務。
3、DWD層
明細寬表層,用於存放完整詳細歷史資料。面向業務過程建模,緊緊圍繞著業務過程來設計,通過獲取描述業務過程的度量來表達業務過程,包含了引用的維度和與業務過程有關的度量。其設計目標是為後續的Data Warehouse Model提供靈活性和擴充套件性的基礎,同時可以在DW層無法支援需求時直接為應用層提供資料。DWD層由於與業務系統耦合程度較高,其穩定性會受到業務系統的影響。
4、DWS層
存放詳細歷史資料的公共彙總資料層,面向分析主題建模。DWS是核心資料層,是為應用層提供足夠的靈活性和擴充套件性的基礎。
5、ADM層
提供直接面向業務或應用的資料,主要對個性化指標資料進行架構處理,如無公用性或複雜性(如指數型、比值型、排名型等指標資料)的指標資料加工。同時為方便實現資料應用、資料消費的訴求,進行面向應用邏輯的資料組裝(如打寬表集市、橫錶轉縱表、趨勢指標串等)。
相關文章
- 資料倉儲(6)數倉分層設計
- 分層架構在資料倉儲的應用架構
- 新興資料倉儲設計與實踐手冊:從分層架構到實際應用(二)架構
- 怎樣的架構設計才是真正的資料倉儲架構(轉載)架構
- 資料倉儲分層概念之我見
- 資料倉儲分層你清楚了嗎
- 談談資料倉儲架構的發展和分類架構
- 設計資料倉儲和資料倉儲的粒度
- 資料湖+資料倉儲 = 資料湖庫架構架構
- [數倉]資料倉儲設計方案
- 資料倉儲設計(轉)
- 軟體架構設計原則和模式(上):分層架構設計架構模式
- 基於分層的token架構設計架構
- .NET應用架構設計—重新認識分層架構(現代企業級應用分層架構核心設計要素)應用架構
- App架構設計經驗談:資料層的設計APP架構
- 資料倉儲設計指南(ZT)
- 資料倉儲(7)數倉規範設計
- 構建資料倉儲
- 關於資料倉儲的設計!
- 如何設計分層架構和互動介面 API ?架構API
- 嵌入式軟體架構設計-程式分層架構
- 資料倉儲(5)數倉Kimball與Inmon架構的對比架構
- 資料湖和中央資料倉儲的設計
- 美團DB資料同步到資料倉儲的架構與實踐架構
- 三層架構及分層架構
- 雲資料建模:為資料倉儲設計資料庫資料庫
- 資料倉儲之拉鍊表設計
- SpringBoot資料響應、分層解耦、三層架構Spring Boot解耦架構
- 【架構設計】你的應用該如何分層呢?架構
- 資料湖 VS 資料倉儲之爭?阿里提出大資料架構新概念:湖倉一體阿里大資料架構
- 論資料倉儲架構前需要考慮的問題架構
- DW2.0-下一代資料倉儲架構架構
- 資料倉儲和後設資料
- 如何構建資料倉儲模型?模型
- 資料倉儲的構建(ZT)
- 分層架構和SOA架構
- 資料倉儲之大規模並行處理架構原理NY並行架構
- 資料倉儲專題(4)-分散式資料倉儲事實表設計思考---討論精華分散式