資料整合的兩種架構：ELT和ETL

資料整合的兩種架構：ELT和ETL

 

整合是資料工程師要做的工作之一。一般來說，資料工程師的工作包括了資料的ETL和資料探勘演算法的實現。演算法實現 可以理解，就是通過資料探勘演算法，從資料倉儲中找到“金子 什麼是ETL呢？ ETL是英文Extract. Transform和Load的縮寫，顧名思義它包括了資料抽取、轉換、載入三個過程。ETL可 以說是進行資料探勘這項工作前的"備菜"過程。

我來解釋一下資料抽取、轉換、載入這三個過程。

ETL的過程為提取（Extract）——轉換（Transform）——載入（Load）,在資料來源抽取後首先進行轉換，然後將轉換的結果寫入 目的地。

ELT的過程則是提取（Extract）—載入（Load）——變換（Transform）,在抽取後將結果先寫入目的地,然後利用資料庫的聚 合分析能力或者外部計算框架，如Spark來完成轉換的步驟

目前資料整合的主流架構是ETL ,但未來使用ELT作為資料整合架構的將越來越多。這樣做會帶來多種好處:

ELT和ETL相比，最大的區別是"重抽取和載入,輕轉換"，從而可以用更輕量的方案搭建起一個資料整合平臺。使用ELT 方法，在提取完成之後,資料載入會立即開始。一方面更省時，另一方面ELT允許BI分析人員無限制地訪問整個原始數 據，為分析師提供了更大的靈活性，使之能更好地支援業務。