【資料倉儲】全量表、快照表、增量表、拉鍊表、維度表、實體表、事實表
原文連結:
https://blog.csdn.net/a6822342/article/details/100050548
https://blog.csdn.net/PTtaoge/article/details/80880494
https://blog.csdn.net/bjweimengshu/article/details/79256504
全量表
全量表沒有分割槽,表中的資料是前一天的所有資料,比如說今天是24號,那麼全量表裡面擁有的資料是23號的所有資料,每次往全量表裡面寫資料都會覆蓋之前的資料,所以全量表不能記錄歷史的資料情況,只有截止到當前最新的、全量的資料。
快照表
那麼要能查到歷史資料情況又該怎麼辦呢?這個時候快照表就派上用途了,快照表是有時間分割槽的,每個分割槽裡面的資料都是分割槽時間對應的前一天的所有全量資料,比如說當前資料表有3個分割槽,24號,25號,26號。其中,24號分割槽裡面的資料就是從歷史到23號的所有資料,25號分割槽裡面的資料就是從歷史到24號的所有資料,以此類推。
但是這樣也有一個問題,就是資料量大的時候,其實每個分割槽都儲存了許多重複的資料,非常的浪費儲存空間。
於是乎,拉鍊表就出來了。
在介紹拉鍊表之前,我們先介紹一下增量表。
增量表
增量表,就是記錄每天新增資料的表,比如說,從24號到25號新增了那些資料,改變了哪些資料,這些都會儲存在增量表的25號分割槽裡面。上面說的快照表的25號分割槽和24號分割槽(都是t+1,實際時間分別對應26號和25號),它兩的資料相減就是實際時間25號到26號有變化的、增加的資料,也就相當於增量表裡面25號分割槽的資料。
拉鍊表
拉鍊表,它是一種維護歷史狀態,以及最新狀態資料的一種表。拉鍊表也是分割槽表,有些不變的資料或者是已經達到狀態終點的資料就會把它放在分割槽裡面,分割槽欄位一般為開始時間:start_date和結束時間:end_date。一般在該天有效的資料,它的end_date是大於等於該天的日期的。獲取某一天全量的資料,可以通過表中的start_date和end_date來做篩選,選出固定某一天的資料。例如我想取截止到20190813的全量資料,其where過濾條件就是where start_date<='20190813' and end_date>=20190813。
維度表
維度表可以看成是使用者用來分析一個事實的視窗,它裡面的資料應該是對事實的各個方面描述,比如時間維度表,它裡面的資料就是一些日,周,月,季,年,日期等資料,維度表只能是事實表的一個分析角度。
實體表
實體表就是一個實際物件的表,實體表它放的資料一定是一條條客觀存在的事物資料,比如說裝置 ,它就是客觀存在的,所以可以將其設計一個實體表。
事實表
事實表其實質就是通過各種維度和一些指標值得組合來確定一個事實的,比如通過時間維度,地域組織維度,指標值可以去確定在某時某地的一些指標值怎麼樣的事實。事實表的每一條資料都是幾條維度表的資料和指標值交匯而得到的。
什麼是資料倉儲
https://blog.csdn.net/bjweimengshu/article/details/79256504
https://blog.csdn.net/Su_Levi_Wei/article/details/89501304
相關文章
- 理解維度資料倉儲——事實表、維度表、聚合表
- 資料倉儲之拉鍊表
- 資料倉儲(8)數倉事實表和維度表技術
- 資料倉儲之拉鍊表設計
- 【資料倉儲】|4 維度建模之事實表設計
- 【資料倉儲】|3 維度建模之維度表設計
- 極限儲存之拉鍊表
- 事實表和維表關係
- Oracle 資料倉儲簡單時間維度表的建立Oracle
- 資料儲存在多張表,快取維度如何設計?快取
- 資料倉儲專題(4)-分散式資料倉儲事實表設計思考---討論精華分散式
- 實現單項鍊表
- 計算表資料真實行長度獲得表真實大小
- 財務分析報表分享|現金流量表視覺化視覺化
- Oracle日曆表維護實踐:建表、準備資料Oracle
- 拉鍊表的建立、查詢和回滾
- 實現報表資料分庫儲存
- 深入講解拉鍊表,還怕面試官問?面試
- 資料倉儲之拉鍊演算法(轉)演算法
- js 單項鍊表JS
- 在資料倉儲中如何做分割槽表
- 量表設計與分析實戰
- 將一個實體資料儲存到不同的資料表中<EntityFramework6.0>Framework
- 使用全表掃描快取大表的相關問題快取
- 拉取易倉API的亞馬遜Listing資料-listing表現介面API亞馬遜
- 資料倉儲中維度變化和事實變化的處理方法
- 報表資料的可控快取快取
- MySQL進階實戰6,快取表、檢視、計數器表MySql快取
- PostgreSQL:表空間-->資料庫-->表SQL資料庫
- 報表資料分庫儲存
- flink維表關聯絡列之Redis維表關聯:實時查詢Redis
- 14.3.1 用向量表示資料
- 資料治理--結構化資料處理 各種情況的資料重跑,流水錶用拉鍊表
- 資料倉儲開發報表常用函式—ROLLUP和GROUPING函式
- Oracle學習系列—資料倉儲部分—目錄管理和外部表Oracle
- 如何dump某個表的資料快
- MySql 表資料的增、刪、改、查MySql
- 電商行業資料包表調研的三個維度行業