資料整合的兩種架構:ELT和ETL
資料整合的兩種架構:ELT和ETL
整合是資料工程師要做的工作之一。一般來說,資料工程師的工作包括了資料的ETL和資料探勘演算法的實現。演算法實現 可以理解,就是通過資料探勘演算法,從資料倉儲中找到“金子 什麼是ETL呢? ETL是英文Extract. Transform和Load的縮寫,顧名思義它包括了資料抽取、轉換、載入三個過程。ETL可 以說是進行資料探勘這項工作前的"備菜"過程。
我來解釋一下資料抽取、轉換、載入這三個過程。
ETL的過程為提取(Extract)——轉換(Transform)——載入(Load),在資料來源抽取後首先進行轉換,然後將轉換的結果寫入 目的地。
ELT的過程則是提取(Extract)—載入(Load)——變換(Transform),在抽取後將結果先寫入目的地,然後利用資料庫的聚 合分析能力或者外部計算框架,如Spark來完成轉換的步驟
目前資料整合的主流架構是ETL ,但未來使用ELT作為資料整合架構的將越來越多。這樣做會帶來多種好處:
ELT和ETL相比,最大的區別是"重抽取和載入,輕轉換",從而可以用更輕量的方案搭建起一個資料整合平臺。使用ELT 方法,在提取完成之後,資料載入會立即開始。一方面更省時,另一方面ELT允許BI分析人員無限制地訪問整個原始數 據,為分析師提供了更大的靈活性,使之能更好地支援業務。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/70019413/viewspace-2904940/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- DataPipeline CTO陳肅:從ETL到ELT,AI時代資料整合的問題與解決方案APIAI
- 下一代ETL工具:微服務架構的全新資料整合平臺微服務架構
- ETL資料整合,RestCloud資料整合平臺RESTCloud
- ETL資料整合平臺,RestCloud視覺化ETLRESTCloud視覺化
- 資料治理:資料整合架構的演進架構
- ETL+BI結合的資料整合工具
- ETL、ELT區別以及如何正確運用
- 四種資料ETL模式(ZT)模式
- ETL架構師面試題架構面試題
- ETL資料整合丨PostgreSQL資料遷移至Hive資料庫SQLHive資料庫
- 【大資料】Lambda架構已死,去ETL化的IOTA才是未來大資料架構
- 常用的幾種大資料架構剖析大資料架構
- ETL資料整合丨SQLServer到Doris的無縫資料同步策略SQLServer
- ETL架構師之分析類架構
- 【虹科乾貨】Lambda資料架構和Kappa資料架構——構建現代資料架構架構APP
- Data Mesh,一種新的資料架構理念!架構
- ETL資料整合丨將GreenPlum資料同步至Doris數倉
- 大資料架構和模式(一)——大資料分類和架構簡介大資料架構模式
- 整合雲和企業資料的 3 種方法
- 夏軍:小米大資料整合架構演化之路大資料架構
- ETL架構中的38個子系統架構
- MPP與Hadoop,兩種主流大資料系統架構有啥區別?Hadoop大資料架構
- 大資料架構和模式(三)——理解大資料解決方案的架構層大資料架構模式
- 大規模資料傳輸,知易行難 — 資料傳輸與 ETL 平臺的架構演進架構
- ETL資料整合工具DataX、Kettle、ETLCloud特點對比Cloud
- 資料整合平臺,多種異構資料來源連結
- 架構之:資料流架構架構
- 面向資料的架構架構
- 按照業務領域畫資料架構圖 業務架構 資料架構架構
- ABAP和XML資料格式互相轉換的兩種方式XML
- 詳細介紹JSP技術的兩種架構模型JS架構模型
- 新一代ETL資料整合平臺,實現企業業務資料融合
- Native 工程整合Flutter 的兩種方式Flutter
- ETL的資料脫敏方式
- 談談人工智慧和機器學習的資料架構人工智慧機器學習架構
- 工業大資料的四種用途和兩大價值大資料
- 目標檢測兩種常用的資料集COCO和VOC
- MySQL建立資料庫的兩種方法MySql資料庫