資料倉儲ODS、DW和DM概念 - 1
1. 資料倉儲分層
ODS——操作性資料
DW——資料倉儲
DM——資料集市
ods介面層採集資料的
dw 資料倉儲將介面採集的資料沉澱下來的
dm 資料集市將資料倉儲中的資料經過加工而來
2. 整體架構
各交易資料庫 -> ETL -> ODS -> DW -> 多個DM
各個系統透過ETL同步到操作性資料倉儲ODS中,對ODS資料進行面向主體域建模形成DW, DM是針對
某一個業務領域建立模型,具體使用者(一般為決策層)檢視DM生成的報表。
3. ODS,DW,DM概念
3.1 ODS
ODS - Operational Data Store,是資料倉儲體系結構中的一個可選部分。也叫做臨時儲存層。
它是“面向主題的、整合的、當前或接近當前的、不斷變化的”資料。
時效:實時或準實時
ODS應用場景
A. 在業務系統和資料倉儲之間形成一個隔離層,ODS直接存放從各個業務系統抽取過來的資料,
這些資料從結構和資料邏輯關係上和業務系統保持一致,降低了資料抽取的複雜性。它的存在
可以避免資料倉儲直接呼叫業務系統的資料。
B. 轉移一部分業務系統細節查詢的功能。因ODS存放的資料與業務系統相同,原來由業務系統
產生的報表,現在可以從ODS中產生了。
C. 完成資料倉儲中不能完成的一些功能。ODS存放的是明細資料,資料倉儲或DM存放的是匯聚
資料,ODS可提供查詢明細的功能。
資料來源源不斷寫入到ODS, 一經寫入的資料就不能被更改,鑑於這些特性,ODS一般會考慮使用
分散式檔案儲存系統。 ODS資料只能增加不能修改,資料是業務系統的原樣複製,可能存在資料
衝突的可能,解決方式是為每一條資料增加一個時間版本來區分相同的資料。
OLTP DB保留的是資料資訊的最新狀態,只有一個狀態。ODS支援OLTP型別的資料更新,資料更
新時間短,資料可實現準實時更新,效能與及時性都高於EDW 。ODS層的資料粒度是最細的,它
的歷史資料一般儲存3-6個月,以節省空間。如果量不大,有些可以儲存更長時間。
客戶等關鍵實體資料。ODS長久儲存當前資料,EDW長久儲存當前與歷史資料。
詳單資料。ODS儲存1個月到3個月;EDW儲存2年。
彙總資料。ODS儲存3年;EDW儲存5年。
其他資料。ODS儲存13個月;EDW儲存3年。
ODS主要面向營業、渠道等一線生產人員和一線管理人員,為了實現準實時、跨系統的運營細節
資料的查詢,以獲得細粒度的運營資料展現,例如渠道人員查詢客戶的全檢視資訊由ODS提供數
據支撐。ODS中也存在部分粗粒度彙總資料,但彙總的維度少且簡單。
ODS——操作性資料
DW——資料倉儲
DM——資料集市
ods介面層採集資料的
dw 資料倉儲將介面採集的資料沉澱下來的
dm 資料集市將資料倉儲中的資料經過加工而來
2. 整體架構
各交易資料庫 -> ETL -> ODS -> DW -> 多個DM
各個系統透過ETL同步到操作性資料倉儲ODS中,對ODS資料進行面向主體域建模形成DW, DM是針對
某一個業務領域建立模型,具體使用者(一般為決策層)檢視DM生成的報表。
3. ODS,DW,DM概念
3.1 ODS
ODS - Operational Data Store,是資料倉儲體系結構中的一個可選部分。也叫做臨時儲存層。
它是“面向主題的、整合的、當前或接近當前的、不斷變化的”資料。
時效:實時或準實時
ODS應用場景
A. 在業務系統和資料倉儲之間形成一個隔離層,ODS直接存放從各個業務系統抽取過來的資料,
這些資料從結構和資料邏輯關係上和業務系統保持一致,降低了資料抽取的複雜性。它的存在
可以避免資料倉儲直接呼叫業務系統的資料。
B. 轉移一部分業務系統細節查詢的功能。因ODS存放的資料與業務系統相同,原來由業務系統
產生的報表,現在可以從ODS中產生了。
C. 完成資料倉儲中不能完成的一些功能。ODS存放的是明細資料,資料倉儲或DM存放的是匯聚
資料,ODS可提供查詢明細的功能。
資料來源源不斷寫入到ODS, 一經寫入的資料就不能被更改,鑑於這些特性,ODS一般會考慮使用
分散式檔案儲存系統。 ODS資料只能增加不能修改,資料是業務系統的原樣複製,可能存在資料
衝突的可能,解決方式是為每一條資料增加一個時間版本來區分相同的資料。
OLTP DB保留的是資料資訊的最新狀態,只有一個狀態。ODS支援OLTP型別的資料更新,資料更
新時間短,資料可實現準實時更新,效能與及時性都高於EDW 。ODS層的資料粒度是最細的,它
的歷史資料一般儲存3-6個月,以節省空間。如果量不大,有些可以儲存更長時間。
客戶等關鍵實體資料。ODS長久儲存當前資料,EDW長久儲存當前與歷史資料。
詳單資料。ODS儲存1個月到3個月;EDW儲存2年。
彙總資料。ODS儲存3年;EDW儲存5年。
其他資料。ODS儲存13個月;EDW儲存3年。
ODS主要面向營業、渠道等一線生產人員和一線管理人員,為了實現準實時、跨系統的運營細節
資料的查詢,以獲得細粒度的運營資料展現,例如渠道人員查詢客戶的全檢視資訊由ODS提供數
據支撐。ODS中也存在部分粗粒度彙總資料,但彙總的維度少且簡單。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/35489/viewspace-2155540/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 資料倉儲ODS、DW和DM概念 - 2
- 資料倉儲ODS、DW和DM概念 - 3
- 資料倉儲ODS、DW和DM概念 - 4
- 資料分層 ODS DW DM層級
- 淺析數倉分層:DB+ODS+DW+DM
- 資料倉儲經驗概念
- 資料倉儲分層概念之我見
- 淺談資料倉儲和大資料大資料
- 談談資料湖和資料倉儲
- 大資料和資料倉儲解決方案大資料
- 資料湖 VS 資料倉儲之爭?阿里提出大資料架構新概念:湖倉一體阿里大資料架構
- 資料湖和中央資料倉儲的設計
- 資料庫倉庫系列:(一)什麼是資料倉儲,為什麼要資料倉儲資料庫
- 萬字詳解資料倉儲、資料湖、資料中臺和湖倉一體
- 數倉開發之ODS層
- 資料倉儲 - ER模型模型
- [數倉]資料倉儲設計方案
- BI、資料倉儲和資料分析之間的區別
- 資料庫和資料倉儲的區別在哪兒?CN資料庫
- Python量化資料倉儲搭建系列1:資料庫安裝與操作Python資料庫
- 資料倉儲應該用什麼方案——資料倉儲實施方案概述
- 奈學:資料湖和資料倉儲的區別有哪些?
- 什麼是資料倉儲
- 什麼是資料倉儲?
- 資料倉儲建模方法論
- 資料倉儲(8)數倉事實表和維度表技術
- 資料湖會取代資料倉儲嗎?
- 資料湖 vs 資料倉儲 vs 資料庫資料庫
- 資料倉儲(6)數倉分層設計
- 資料倉儲(7)數倉規範設計
- 資料倉儲基礎介紹
- ETL資料倉儲的使用方式
- ABP 資料訪問 - IRepository 倉儲
- 資料倉儲題庫(附答案)
- 如何構建資料倉儲模型?模型
- 資料倉儲之拉鍊表
- 資料倉儲與大資料的區別大資料
- 關於資料湖、資料倉儲的想法