在資料倉儲中通常會儲存雙重粒度級別的資料來滿足不同的需要，輕度綜合資料和原始資料，在原始資料層面上可以訪問細節資料，而在分析層面則訪問輕度綜合資料。

原始資料因為儲存了基本上原封不動的資料，導致系統儲存壓力增大，同時也造成查詢使系統效能的下降；而輕度綜合資料由於資料進行壓縮更為簡潔，通常情況下對資料倉儲的訪問95%以上都是透過輕度綜合資料訪問來進行的。

資料增量聚合的實現和增量抽取類似，都是儘量以時間戳的方式，儘量減少每次事務的開銷。

下面開始對基於時間戳的資料增量聚合進行系統設計：

1、首先需要定義一張資料字典表，定義需要進行處理的任務，其中主要包括任務名稱，任務描述，本次聚合開始時間、結束時間、當前時間、執行的系統時間，狀態，最大時限等等。

2、有了這張字典表就可以開始進行工作了，為了方便表達，暫時處理成虛擬碼形式，同時只以一個表的處理為例。

1、獲取上次處理的惡最後時間，狀態和取消情況

2、如果取消狀態，則直接退出

3、判斷是否存在該任務

4、如果沒有，則新增，如果存在更新當前狀態為執行

5、獲取本次任務開始時間和結束時間

6、並根據系統表中的最大處理時限和時間間隔進行擷取時間

7、根據控制事務處理大小的粒度，進行迴圈抽取

8、 INSERT INTO t_fact_table(TargetFieldList)

SELECT SourceFieldList FROM t_org_table

WHERE logdate> BeginDate

AND logdate< BeginDate+粒度

9、並同步進行時間和狀態的更新

關於資料事實表彙總的模擬實現——原理

相關文章