合併與拆分資料模型(MSDM:Merging & Spliting Data Modeling)
[@more@]
MSDM只要針對的是多地區,多維度,跨時區的操作,特別是零售和製造行業,不同地區存在不同的ERP系統和其他同型別不同操作的系統。很多大型的業務系統,有很多的定時程式是在晚上執行,比如匯率轉換計算,資料備份等,而不同國家地區的操作策略也不一樣。資料倉儲的有些機制是需要業務原系統的參與,比如資料的匯入,有些則不需要原系統的參與,比如資料倉儲的資料刪除,索引建立,為了不影響資料倉儲系統的及時性和準確性,有必要對資料倉儲各層進行分解和合並。
原有的多維模型和關係模型過多的講究統一性和一致性,倒是在推廣BI的過程中,很難用系統去驅動業務,而不是常見的業務驅動,求同存異也是BI系統的一個特點。
所以而且多層多步驟實施也是現在企業實施BI的一個趨勢。MSDM其實都是為了保證系統求同存異而設計的。
MSDM是指在企業存在多業務系統情況下,為了適應後續系統的建立與效能調優,而建立的模型,此模型的建立將操作型資料儲存層分立,在展現層合併的資料模型。
合併的資料模型的特點如下:
1:ODS層的資料按照不同的業務資料來源分開儲存,並將業務系統的維度資料統一整合,並用資料來源名稱和資料歸屬區域加以標示。
2:為了保證資料質量,加一層名為資料檢查層(Validation Agent),將各業務系統的資料檢查結果按照預先定義的或者後續檢查定義的加以標識,這裡可以按照資料的自增序號進行關聯。
3:資料檢查層可以設定一個資料驗證引擎(Validation Agent)和相應的資料檢查規則。這裡只標示資料檢查的結果,不更新和刪除資料。資料檢查層位於ODS層後,資料整合層前;
4:資料更新層可以設定一個資料清洗引擎(Cleaning Agent)和相應的更新機制,主要正對資料檢查層的檢查結果,設定相應的更新策略。資料更新層位於資料檢查層後,資料整合層前。
5:資料整合層有三種設計策略
一:易合併資料,可以將事實資料和維度資料合併,並在SOR記錄上標示資料來源系統和操作時間;
二:不易合併資料,可以將事實資料分開,維度資料合併,並標示資料來源系統統和操作時間;
三:大表操作策略,將維度資料和實施資料按照相關性和粒度,將資料合併在一起,並分開存放維度資料,標示資料來源系統和操作時間;
6:在展現資料層或者匯入cube的時候, 針對分立的資料來源用檢視和維度統一性用檢視操作,將相應的資料用檢視進行操作。
檢查層和更新層是獨立各層之外的,為各層服務的。它只需要為各業務資料單獨設立其相應的策略和機制即可。可以針對不同型別的業務資料進行驗證和清洗。同時可以加入相應的日誌和報警設定,方便ETL,資料展現和資料質量檢查。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/7600305/viewspace-1016387/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 資料檔案合併與拆分
- java 拆分與合併字串Java字串
- Goldengate的拆分與合併Go
- 命令列中的拆分與合併命令列
- 檢視合併(View Merging)View
- opencv 影像的 ROI、通道的拆分與合併OpenCV
- Oracle 11g 分割槽拆分與合併Oracle
- 請求合併與拆分在併發場景中應用
- PDFsam Basic for mac合併拆分PDF文件Mac
- linux檔案合併、去重、拆分Linux
- CDM(Conceptual Data Model,概念資料模型)和 PDM(Physical Data Model,物理資料模型)模型
- merge into合併資料
- 奇酷手機怎麼合併和拆分聯絡人 奇酷手機怎麼合併和拆分聯絡人教程
- 「分散式技術專題」資料切分與合併分散式
- 【SQL優化器查詢變換器】檢視合併(View Merging)SQL優化View
- pandas 兩列資料合併
- Java與JavaScript 完美實現字串拆分(利用陣列儲存)與合併的互逆操作JavaScript字串陣列
- iOS拆分,合併靜態庫以壓縮打包空間iOS
- PDF Merge PDF Splitter for Mac(PDF合併和拆分軟體)Mac
- 資料模型與資料分析模型
- SAP Marketing Cloud Contact 模型的匯入配置和資料合併原理Cloud模型
- 資料庫優化-水平拆分 垂直拆分資料庫優化
- 如何合併兩個TensorFlow模型模型
- mysql資料庫多表同結構合併資料MySql資料庫
- Git 分支與合併Git
- mysql將多行資料合併或按組合並MySql
- Aspose.Words使用教程之如何寫入純文字(TXT)檔案,表的合併與拆分
- 資料處理之欄位合併
- 資料結構--線段樹合併資料結構
- SparkSQL:Parquet資料來源之合併後設資料SparkSQL
- 資料訪問模式:資料併發控制(Data Concurrency Control)模式
- CSS-盒子模型-邊距合併CSS模型
- 深究盒模型的margin合併問題模型
- 使用open3d合併ply模型3D模型
- 【MySQL】MySQL如何合併多行資料,行轉列,group_concat 多行合併MySql
- git分支合併與rebaseGit
- 生成表格與合併表格
- 前端效能優化 --- 資源合併與壓縮前端優化