維度處理-資料倉儲-讀書筆記(四)
資料倉儲中如何使用一致性維度整合
一致性維度
1,當不同的維度表的屬性具有相同的列名和領域內容時候,稱為維度具有一致性
2,有利於不同事實表的合併到同一報表中去
3,在一致性維度的前提下,可以被所有事實表複用
4,可以保證分析結果的一致性且減少開銷
縮減維度
場景一:當構建聚集事實表需要縮減上卷維度
場景二:商業過程自然的獲取粒度級別較高的資料
場景三:兩個維度具有同樣粒度級別的細節資料,但是其中一個僅表示行的部分子集
跨表鑽取
1,當兩個表包含相同的一致性屬性時候,使不同的查詢能夠針對兩個或者更多的事實表進行查詢
價值鏈
1,區分與組織中主要業務過程的自然流程。是對商業活動過程的重新整合和組裝。同一組織下的同一個業務過程,對於不同的角色價值鏈不同,例如:銷售商的價值鏈包括:購買、庫存、零售額等;分類賬價值鏈包括:預算編制、承付款項、付款等。
2,儘量為每個過程至少建立一個原子事實表
企業資料倉儲匯流排架構
通過關注業務過程將DW/BI規劃過程分解為可管理的模組,通過重用跨不同過程的標準化一致性維度釋出實現整合
企業資料倉儲匯流排矩陣
是用於設計並與企業資料倉儲匯流排架構互動的基本工具。矩陣的行代表業務過程,列表示維度,點表示維度與給定的業務過程是否存在關聯關係。
匯流排矩陣實現細節
是一個更加細粒度化的匯流排矩陣,其中擴充套件每個業務過程行以展示特定事實。
機會/利益相關方矩陣
用於區分哪些業務過程分組應該與過程中心行相關
資料倉儲如何處理緩慢變化維度屬性
SCD全稱:Slowly Changing Dimension
SCD0:原樣保留
維度值屬性不會發生變化,事實表以原始值分組。例如:客戶的原始的信用卡積分或者永續性識別符號 如身份證
SCD1:重寫
原來的屬性值被新值覆蓋。
特點:
1,總是反應最近的狀態。此技術破壞了歷史情況。
2,易於實現且不需要建立額外的維度行,但是會影響聚集事實或者OLAP多維資料庫重新計算
SCD2:增加新行
在維度表中增加新行,新行採用修改的屬性址
特點:
1,維度表主鍵更具有一般性,不能是自然鍵或者是持久鍵
2,增加新行時候,分配一個新的主代理鍵,作為所有事實表的外來鍵,直到產生新的維度鍵
3,通常我們還會有其餘的設計方式去處理SCD2,但是圖中的方式是管理、操作最簡單的方式
SCD3:增加新屬性
在維度上增加新屬性以儲存原來的值,新屬性的變化通過SCD1方式處理
增加新列,此種方式不太常用。
SCD4:增加微型維度
當維度中的一組屬性快速變化並劃分為微型維度時候使用
微型維度需要自己的唯一主鍵。其主鍵從相關的事實表中獲取
SCD5:增加微型維度以及型別1支架
對於精確儲存歷史屬性值,按照當前屬性值,增加報表的歷史事實。
SCD5建立在SCD4基礎上,並嵌入SCD1應用基維度中的微型維度
SCD6:增加型別1屬性到型別2維度
也儲存歷史和當前維度屬性值。SCD6建立在SCD2的基礎上,同時嵌入維度行當前型別1版本。
在此環境中,當屬性發生變化時候,SCD1屬性由系統自動重寫與特定持久鍵關聯的所有行
SCD7:雙型別1和型別2維度
支援現在和過去的混合技術。
通過SCD1僅僅展示最新屬性值。通過SCD2展示最新歷史概要。維度的持久鍵和代理鍵需要同時存在事實表上。
資料倉儲如何處理維度層次關係
固定深度位置的層次
是多對一關係的一種。最容易理解和查詢的層次關係,提供可預測的、快速的查詢效能。
需要深度確定,命名穩定
輕微參差不齊
沒有固定的層次深度,但層次深度有限。一般嘗試確定最大深度,然後基於業務規則放置屬性
具有層次橋接表的參差不齊/可變深度層次
深度不確定的層次非常難以建模。可以通過橋接的方式建模參差不齊的層次。橋接表對每個可能的路徑保留一行,確保能夠遍歷所有層次的形式
具有路徑字元屬性的可變深度層次
通過使用路徑字元屬性,以避免使用橋接表表示可變深度層次。對維度中的每行的路徑字元屬性嵌入特定的文字字元,包含從高層次到特定維度行所描述節點的完整路徑描述。
缺陷:
1,不能確保其他層次快速替換
2,無法保證共享自身層次
3,當層次發生變化,可能需要重新標記整個層次
歷史文章
資料倉儲-概述-讀書筆記一
資料倉儲-DW/BI架構對比-讀書筆記二
資料倉儲-事實表/維度表技術-讀書筆記三
參考資料
資料倉儲工具箱
如果您覺得我用心了,覺得您有所收穫,麻煩關注下我吧,您的關注就是我的動力,因為我不是一個人在前行。
相關文章
- 資料倉儲工具箱-維度建模權威指南(第三版)讀書筆記筆記
- 讀書筆記5-資料儲存篇筆記
- 【資料倉儲】|3 維度建模之維度表設計
- 【讀書筆記】:《編寫可維護的JavaScript》第07章 事件處理筆記JavaScript事件
- 資料倉儲(8)數倉事實表和維度表技術
- 《Python 簡明教程》讀書筆記系列四 —— 資料結構Python筆記資料結構
- 【資料倉儲】|4 維度建模之事實表設計
- JSP筆記-XML 資料處理JS筆記XML
- 數字影像處理讀書筆記(三)直方圖匹配筆記直方圖
- 《Google SRE 運維解密》讀書筆記Go運維解密筆記
- Netflix如何使用bulldozer從資料倉儲批處理資料轉移到鍵值儲存?
- 【資料倉儲】|5 維度建模設計和實施過程
- 資料倉儲之大規模並行處理架構原理NY並行架構
- 資料維度的python表示(MOOC北理大嵩天課程筆記)Python筆記
- 《解構產品經理》讀書筆記筆記
- 讀書筆記筆記
- 讀書筆記---選擇情緒---因果思維筆記
- 機器學習筆記---資料預處理機器學習筆記
- 《讀書與做人》讀書筆記筆記
- spark學習筆記--資料讀取與儲存Spark筆記
- 讀書筆記-資訊收集1筆記
- YOLOv3學習筆記之資料處理YOLO筆記
- 《Go 語言程式設計》讀書筆記(四)介面Go程式設計筆記
- 資料倉儲Build The Data Warehouse(William H.Inmon)學習筆記 --- 第八章、外部資料/非結構化資料與資料倉儲UI筆記
- webpackDemo讀書筆記Web筆記
- Vue讀書筆記Vue筆記
- 散文讀書筆記筆記
- Cucumber讀書筆記筆記
- HTTP 讀書筆記HTTP筆記
- postgres 讀書筆記筆記
- 讀書筆記2筆記
- 讀書筆記3筆記
- 【Pandas學習筆記02】-資料處理高階用法筆記
- 【Pandas學習筆記02】處理資料實用操作筆記
- Java 併發程式設計實踐 讀書筆記四Java程式設計筆記
- 《深入理解計算機系統》讀書筆記 —— 第二章 資訊的表示和處理計算機筆記
- python網路資料採集 - 讀書筆記 - 糾錯與記錄Python筆記
- ES 筆記三十七:處理併發讀寫操作筆記