合併與拆分資料模型(MSDM:Merging & Spliting Data Modeling)

bidwhome發表於2009-01-22

[@more@]


MSDM只要針對的是多地區,多維度,跨時區的操作,特別是零售和製造行業,不同地區存在不同的ERP系統和其他同型別不同操作的系統。很多大型的業務系統,有很多的定時程式是在晚上執行,比如匯率轉換計算,資料備份等,而不同國家地區的操作策略也不一樣。資料倉儲的有些機制是需要業務原系統的參與,比如資料的匯入,有些則不需要原系統的參與,比如資料倉儲的資料刪除,索引建立,為了不影響資料倉儲系統的及時性和準確性,有必要對資料倉儲各層進行分解和合並。
原有的多維模型和關係模型過多的講究統一性和一致性,倒是在推廣BI的過程中,很難用系統去驅動業務,而不是常見的業務驅動,求同存異也是BI系統的一個特點。
所以而且多層多步驟實施也是現在企業實施BI的一個趨勢。MSDM其實都是為了保證系統求同存異而設計的。
MSDM是指在企業存在多業務系統情況下,為了適應後續系統的建立與效能調優,而建立的模型,此模型的建立將操作型資料儲存層分立,在展現層合併的資料模型。
合併的資料模型的特點如下:
1:ODS層的資料按照不同的業務資料來源分開儲存,並將業務系統的維度資料統一整合,並用資料來源名稱和資料歸屬區域加以標示。
2:為了保證資料質量,加一層名為資料檢查層(Validation Agent),將各業務系統的資料檢查結果按照預先定義的或者後續檢查定義的加以標識,這裡可以按照資料的自增序號進行關聯。
3:資料檢查層可以設定一個資料驗證引擎(Validation Agent)和相應的資料檢查規則。這裡只標示資料檢查的結果,不更新和刪除資料。資料檢查層位於ODS層後,資料整合層前;
4:資料更新層可以設定一個資料清洗引擎(Cleaning Agent)和相應的更新機制,主要正對資料檢查層的檢查結果,設定相應的更新策略。資料更新層位於資料檢查層後,資料整合層前。
5:資料整合層有三種設計策略
一:易合併資料,可以將事實資料和維度資料合併,並在SOR記錄上標示資料來源系統和操作時間;
二:不易合併資料,可以將事實資料分開,維度資料合併,並標示資料來源系統統和操作時間;
三:大表操作策略,將維度資料和實施資料按照相關性和粒度,將資料合併在一起,並分開存放維度資料,標示資料來源系統和操作時間;
6:在展現資料層或者匯入cube的時候, 針對分立的資料來源用檢視和維度統一性用檢視操作,將相應的資料用檢視進行操作。

檢查層和更新層是獨立各層之外的,為各層服務的。它只需要為各業務資料單獨設立其相應的策略和機制即可。可以針對不同型別的業務資料進行驗證和清洗。同時可以加入相應的日誌和報警設定,方便ETL,資料展現和資料質量檢查。

來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/7600305/viewspace-1016387/,如需轉載,請註明出處,否則將追究法律責任。

相關文章