資料倉儲架構分層設計

Sleten09發表於2020-12-09

資料倉儲架構分層設計包括STG(資料緩衝層)、ODS(資料操作層)、DWD(資料明細層)、DWS(主題彙總層)和ADM(資料應用層)。
在這裡插入圖片描述
1、STG層
主要完成業務系統結構化資料引入到資料中臺,保留業務系統原始資料,緩衝層設計主要保持和資料來源的一致性,不做任何型別轉換和資料加工處理,為ODS層提供基礎資料服務。
2、ODS層
對STG層資料進行型別轉換或增量合併處理,得到的全量明細資料,為DWD、DWS和ADM層提供資料服務。
3、DWD層
明細寬表層,用於存放完整詳細歷史資料。面向業務過程建模,緊緊圍繞著業務過程來設計,通過獲取描述業務過程的度量來表達業務過程,包含了引用的維度和與業務過程有關的度量。其設計目標是為後續的Data Warehouse Model提供靈活性和擴充套件性的基礎,同時可以在DW層無法支援需求時直接為應用層提供資料。DWD層由於與業務系統耦合程度較高,其穩定性會受到業務系統的影響。
4、DWS層
存放詳細歷史資料的公共彙總資料層,面向分析主題建模。DWS是核心資料層,是為應用層提供足夠的靈活性和擴充套件性的基礎。
5、ADM層
提供直接面向業務或應用的資料,主要對個性化指標資料進行架構處理,如無公用性或複雜性(如指數型、比值型、排名型等指標資料)的指標資料加工。同時為方便實現資料應用、資料消費的訴求,進行面向應用邏輯的資料組裝(如打寬表集市、橫錶轉縱表、趨勢指標串等)。

相關文章