增量資料載入

zj2009072204發表於2013-09-10
所講增量資料載入，舉例說A表為OLTP表，B表為OLAP表
ETL進行增量資料載入，抽取A表資料，並進行清洗、轉換、最後進行載入，執行過一次後，B表中就有了按規則抽取的資料，此後，當發生業務操作後，A表資料發生改變，即
1、增加
當A表增加資料後，經過ETL，僅抽取增加的資料，並進行相應轉換，B表中插入新增的資料
2、修改
當A表資料發生修改後，經過ETL，僅抽取修改過的資料，需要在B表中找到發生變化的資料，並進行相應的修改（不記錄修改歷史）；或者在B表中找到發生變化的資料，並給這些資料置上歷史資料標識，並插入修改過的資料
3、刪除
當A表發生刪除時，經過ETL，B表應不發生任何變化，A表所刪除資料應仍然保持原有資料
這樣便實現了資料的增量抽取，遞增載入
 
在全表比對的方式下可以採用的漸變維的方式一般有兩種
1、不記錄歷史更改，即OLTP發生資料變化時，通過ETL同樣對
   OLAP中資料進行修改
2、記錄歷史資訊，即OLTP發生資料變化時，通過ETL後，OLAP   中將保留原來資料，並不修改資料值，僅把該資料標識為     歷史資料，並把修改過的資料作為新資料插入OLAP表。這   種模式有三種方式進行歷史紀錄的記載
   （1）版本號
    即在OLAP表中增加欄位，記錄版本號，每次更新資料時，    記錄下當前版本號，以版本號最新表示記錄最新
   （2）標誌欄位
    即在OLAP表中增加欄位，記錄最新標識，例如1、0，把歷    史資料均置為1，當前最新資料為0
   （3）時戳
    即在OLAP表中增加時戳欄位，記錄資料的插入時間及更改    時間，以時間最後為最新紀錄

來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/28573466/viewspace-772496/，如需轉載，請註明出處，否則將追究法律責任。

相關文章