1 關於資料倉儲維度資料處理的方法探究系列——維的概述

bq_wang發表於2008-02-13
在資料倉儲中,維度是資料倉儲概念的一個重要基礎,因此維度的抽取和處理是一個重要的環節,對於不同的維度根據業務需求以及客觀原因有許多不同的處理方式,以下將以SQLServer2000語法為例展開。

維概述

概述

是多維資料集的結構性特性。它們是事實資料表中用來描述資料的分類的有組織層次結構()。這些分類和級別描述了一些相似的集合,使用者將基於這些成員集合進行分析。(此概念引之於SQLServer2000聯機幫助)

所有維度均直接或間接地基於表。當從某個表建立維度時,您會選擇定義此維度的列。選擇列的順序至關重要,因為它將影響維度層次結構內成員的位置。(此概念引之於SQLServer2000聯機幫助)

維度是有層次的,在大多數情況下維度的成員會按金字塔形佈局排列。水平佈局由維度層次結構中具有相同級別的列值生成,而垂直佈局由維度層次結構中具有不同級別的列值生成。(此概念引之於SQLServer2000聯機幫助)

相對應於OLTP系統,維度表資料主要來自於OLTP系統中的各個基礎表。但是在OLTP系統中資料變化比較劇烈,通常只保留最近最新的基礎資訊;也不會記載基礎資料的刪除、更新和插入的整個歷史過程。而資料倉儲則是面向主題的、整合化的、穩定的、隨時間變化的資料集合,這就要求資料必須是遞增的,反映歷史變化的;因此資料倉儲對於維度資料的處理通常的要求是做插入和更新處理,不做刪除,否則將無法完整反映資料的歷史和整體情況。

1.2分類

在實際的業務系統中,維度根據變化劇烈程度主要分為以下幾類:

1. 無變化維度

如性別維度只有男女,如年齡階段維度0~10歲,10~20歲等等。

2. 緩慢變化維度

維度的變化劇烈程度雖然比較小,但是資料倉儲專案中仍要根據實際情況進行維度更新,大部分的維度應屬於此部分。

3. 劇烈變化維度

維度的變化劇烈程度比較高,通常做法是對該維度表進行拆解,使其成為緩慢變化維度進行處理。

1.3處理對策

關於維度的處理主要根據業務需要和資料庫對資料處理的處理能力和效能。對於比較敏感和極其重要的資料一定要求其反映整個歷史變化,或根據版本或根據時間戳等等;反之對於不太重要的資料處於資料庫效能考慮,建議採用直接更新的辦法;而對於沒有變化的資料採取一次性載入的方式。在這裡為了討論方便,初步分為以下幾類:

1. 無變化維度處理

2. 緩慢變化維處理

3. 急劇變化維處理

來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/6517/viewspace-145435/,如需轉載,請註明出處,否則將追究法律責任。

相關文章