四種資料ETL模式(ZT)

四種資料ETL模式

[@more@]

根據模型的設計和源資料的情況，有四種資料ETL模式：

完全重新整理：資料倉儲資料表中只包括最新的資料，每次載入均刪除原有資料，然後完全載入最新的源資料。這種模式下，資料抽取程式抽取源資料中的所有記錄，在載入前，將目標資料表清空，然後載入所有記錄。為提高刪除資料的速度，一般是採用Truncate清空資料表。如本系統中的入庫當前資訊表採用此種模式。

映象增量：源資料中的記錄定期更新，但記錄中包括記錄時間欄位，源資料中儲存了資料歷史的記錄，ETL可以透過記錄時間將增量資料從源資料抽取出來以附加的方式載入到資料倉儲中，資料的歷史記錄也會被保留在資料倉儲中。

事件增量：每一個記錄是一個新的事件，相互之間沒有必然的聯絡，新記錄不是對原有記錄數值的變更，記錄包括時間欄位，可以透過時間欄位將新增資料抽取出來載入到資料庫中。

映象比較：資料倉儲資料具有生效日期欄位以儲存資料的歷史資訊，而源資料不保留歷史並且每天都可能被更新。因此，只能將新的映象資料與上次載入的資料的映象進行比較，找出變更部分，更新歷史資料被更新記錄的生效終止日期，並新增變更後的資料。大多數源資料中需儲存歷史資訊的維表

原文連結：http://blogger.org.cn/blog/more.asp?name=xueflhg&id=6976