合併與拆分資料模型(MSDM:Merging & Spliting Data Modeling)
[@more@]
MSDM只要針對的是多地區,多維度,跨時區的操作,特別是零售和製造行業,不同地區存在不同的ERP系統和其他同型別不同操作的系統。很多大型的業務系統,有很多的定時程式是在晚上執行,比如匯率轉換計算,資料備份等,而不同國家地區的操作策略也不一樣。資料倉儲的有些機制是需要業務原系統的參與,比如資料的匯入,有些則不需要原系統的參與,比如資料倉儲的資料刪除,索引建立,為了不影響資料倉儲系統的及時性和準確性,有必要對資料倉儲各層進行分解和合並。
原有的多維模型和關係模型過多的講究統一性和一致性,倒是在推廣BI的過程中,很難用系統去驅動業務,而不是常見的業務驅動,求同存異也是BI系統的一個特點。
所以而且多層多步驟實施也是現在企業實施BI的一個趨勢。MSDM其實都是為了保證系統求同存異而設計的。
MSDM是指在企業存在多業務系統情況下,為了適應後續系統的建立與效能調優,而建立的模型,此模型的建立將操作型資料儲存層分立,在展現層合併的資料模型。
合併的資料模型的特點如下:
1:ODS層的資料按照不同的業務資料來源分開儲存,並將業務系統的維度資料統一整合,並用資料來源名稱和資料歸屬區域加以標示。
2:為了保證資料質量,加一層名為資料檢查層(Validation Agent),將各業務系統的資料檢查結果按照預先定義的或者後續檢查定義的加以標識,這裡可以按照資料的自增序號進行關聯。
3:資料檢查層可以設定一個資料驗證引擎(Validation Agent)和相應的資料檢查規則。這裡只標示資料檢查的結果,不更新和刪除資料。資料檢查層位於ODS層後,資料整合層前;
4:資料更新層可以設定一個資料清洗引擎(Cleaning Agent)和相應的更新機制,主要正對資料檢查層的檢查結果,設定相應的更新策略。資料更新層位於資料檢查層後,資料整合層前。
5:資料整合層有三種設計策略
一:易合併資料,可以將事實資料和維度資料合併,並在SOR記錄上標示資料來源系統和操作時間;
二:不易合併資料,可以將事實資料分開,維度資料合併,並標示資料來源系統統和操作時間;
三:大表操作策略,將維度資料和實施資料按照相關性和粒度,將資料合併在一起,並分開存放維度資料,標示資料來源系統和操作時間;
6:在展現資料層或者匯入cube的時候, 針對分立的資料來源用檢視和維度統一性用檢視操作,將相應的資料用檢視進行操作。
檢查層和更新層是獨立各層之外的,為各層服務的。它只需要為各業務資料單獨設立其相應的策略和機制即可。可以針對不同型別的業務資料進行驗證和清洗。同時可以加入相應的日誌和報警設定,方便ETL,資料展現和資料質量檢查。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/7600305/viewspace-1016387/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 資料檔案合併與拆分
- 命令列中的拆分與合併命令列
- opencv 影像的 ROI、通道的拆分與合併OpenCV
- 【BIM】基於BIMFACE的空間拆分與合併
- 請求合併與拆分在併發場景中應用
- linux檔案合併、去重、拆分Linux
- PDFsam Basic for mac合併拆分PDF文件Mac
- CDM(Conceptual Data Model,概念資料模型)和 PDM(Physical Data Model,物理資料模型)模型
- 潛在威脅資訊模型(PTIM)-Potential threats Information Modeling模型ORM
- 「分散式技術專題」資料切分與合併分散式
- SAP Marketing Cloud Contact 模型的匯入配置和資料合併原理Cloud模型
- pandas 兩列資料合併
- PDF Merge PDF Splitter for Mac(PDF合併和拆分軟體)Mac
- 如何合併兩個TensorFlow模型模型
- iOS拆分,合併靜態庫以壓縮打包空間iOS
- 【kingsql分享】 多租戶細粒度資源模型 - New Resource Modeling SchemeSQL模型Scheme
- delphi基於資料模型(data-model)JSON序列模型JSON
- mysql資料庫多表同結構合併資料MySql資料庫
- Aspose.Words使用教程之如何寫入純文字(TXT)檔案,表的合併與拆分
- 合併與變基
- 資料結構--線段樹合併資料結構
- 資料處理之欄位合併
- 使用python進行合併資料集Python
- 【MySQL】MySQL如何合併多行資料,行轉列,group_concat 多行合併MySql
- SparkSQL:Parquet資料來源之合併後設資料SparkSQL
- 使用open3d合併ply模型3D模型
- 分層資料 Hierarchical Data 探索 (2.鄰接表模型)模型
- el-table 合併相同資料的列
- rxjs入門6之合併資料流JS
- Git 合併指定檔案或資料夾Git
- el-table合併相同資料的行
- 生成表格與合併表格
- OceanBase子表分裂與合併
- 前端效能優化 --- 資源合併與壓縮前端優化
- 按需載入(code spliting)
- PDF 分割拆分 API 資料介面API
- 資料編織 (Data Fabric) vs 資料網格 (Data Mesh)
- elementui表格動態資料單元格合併UI
- Excel 快速合併多行資料為一行Excel