維度處理-資料倉儲-讀書筆記(四)

weixin_33976072發表於2018-08-22

資料倉儲中如何使用一致性維度整合

一致性維度
1,當不同的維度表的屬性具有相同的列名和領域內容時候,稱為維度具有一致性
2,有利於不同事實表的合併到同一報表中去
3,在一致性維度的前提下,可以被所有事實表複用
4,可以保證分析結果的一致性且減少開銷

縮減維度
場景一:當構建聚集事實表需要縮減上卷維度
場景二:商業過程自然的獲取粒度級別較高的資料
場景三:兩個維度具有同樣粒度級別的細節資料,但是其中一個僅表示行的部分子集

跨表鑽取
1,當兩個表包含相同的一致性屬性時候,使不同的查詢能夠針對兩個或者更多的事實表進行查詢

價值鏈
1,區分與組織中主要業務過程的自然流程。是對商業活動過程的重新整合和組裝。同一組織下的同一個業務過程,對於不同的角色價值鏈不同,例如:銷售商的價值鏈包括:購買、庫存、零售額等;分類賬價值鏈包括:預算編制、承付款項、付款等。
2,儘量為每個過程至少建立一個原子事實表

企業資料倉儲匯流排架構
通過關注業務過程將DW/BI規劃過程分解為可管理的模組,通過重用跨不同過程的標準化一致性維度釋出實現整合

企業資料倉儲匯流排矩陣
是用於設計並與企業資料倉儲匯流排架構互動的基本工具。矩陣的行代表業務過程,列表示維度,點表示維度與給定的業務過程是否存在關聯關係。

7063537-898ce52cb2ed3358.png
匯流排矩陣

匯流排矩陣實現細節
是一個更加細粒度化的匯流排矩陣,其中擴充套件每個業務過程行以展示特定事實。

7063537-8c1e813e47d1848b.png
匯流排矩陣實現細節

機會/利益相關方矩陣
用於區分哪些業務過程分組應該與過程中心行相關

資料倉儲如何處理緩慢變化維度屬性

SCD全稱:Slowly Changing Dimension
SCD0:原樣保留
維度值屬性不會發生變化,事實表以原始值分組。例如:客戶的原始的信用卡積分或者永續性識別符號 如身份證

SCD1:重寫
原來的屬性值被新值覆蓋。
特點:
1,總是反應最近的狀態。此技術破壞了歷史情況。
2,易於實現且不需要建立額外的維度行,但是會影響聚集事實或者OLAP多維資料庫重新計算

SCD2:增加新行
在維度表中增加新行,新行採用修改的屬性址
特點:
1,維度表主鍵更具有一般性,不能是自然鍵或者是持久鍵
2,增加新行時候,分配一個新的主代理鍵,作為所有事實表的外來鍵,直到產生新的維度鍵

7063537-d2c4ac32d89dc912.png
SCD2緩慢變化維度處理

3,通常我們還會有其餘的設計方式去處理SCD2,但是圖中的方式是管理、操作最簡單的方式

SCD3:增加新屬性
在維度上增加新屬性以儲存原來的值,新屬性的變化通過SCD1方式處理
增加新列,此種方式不太常用。

SCD4:增加微型維度
當維度中的一組屬性快速變化並劃分為微型維度時候使用
微型維度需要自己的唯一主鍵。其主鍵從相關的事實表中獲取

SCD5:增加微型維度以及型別1支架
對於精確儲存歷史屬性值,按照當前屬性值,增加報表的歷史事實。
SCD5建立在SCD4基礎上,並嵌入SCD1應用基維度中的微型維度

SCD6:增加型別1屬性到型別2維度
也儲存歷史和當前維度屬性值。SCD6建立在SCD2的基礎上,同時嵌入維度行當前型別1版本。
在此環境中,當屬性發生變化時候,SCD1屬性由系統自動重寫與特定持久鍵關聯的所有行

SCD7:雙型別1和型別2維度
支援現在和過去的混合技術。
通過SCD1僅僅展示最新屬性值。通過SCD2展示最新歷史概要。維度的持久鍵和代理鍵需要同時存在事實表上。

資料倉儲如何處理維度層次關係

固定深度位置的層次
是多對一關係的一種。最容易理解和查詢的層次關係,提供可預測的、快速的查詢效能。
需要深度確定,命名穩定

輕微參差不齊
沒有固定的層次深度,但層次深度有限。一般嘗試確定最大深度,然後基於業務規則放置屬性

具有層次橋接表的參差不齊/可變深度層次
深度不確定的層次非常難以建模。可以通過橋接的方式建模參差不齊的層次。橋接表對每個可能的路徑保留一行,確保能夠遍歷所有層次的形式

具有路徑字元屬性的可變深度層次
通過使用路徑字元屬性,以避免使用橋接表表示可變深度層次。對維度中的每行的路徑字元屬性嵌入特定的文字字元,包含從高層次到特定維度行所描述節點的完整路徑描述。
缺陷:
1,不能確保其他層次快速替換
2,無法保證共享自身層次
3,當層次發生變化,可能需要重新標記整個層次


歷史文章

資料倉儲-概述-讀書筆記一
資料倉儲-DW/BI架構對比-讀書筆記二
資料倉儲-事實表/維度表技術-讀書筆記三


參考資料

資料倉儲工具箱


如果您覺得我用心了,覺得您有所收穫,麻煩關注下我吧,您的關注就是我的動力,因為我不是一個人在前行。

7063537-6c5b11827b11d240.png
資料僧

相關文章