ETL資料整合工具
對於資料倉儲，大資料整合類應用，通常會採用ETL工具輔助完成。ETL，是英文 Extract-Transform-Load 的縮寫，用來描述將資料從來源端經過抽取(extract) 、互動轉換(transform) 、載入(load)至的端的過程當前的很多應用也存在大量的ELT應用模式。常見的ETL工具或類ETL的資料整合同步工具很多，以下對開源的datax、Kettle、ETLCloud進行簡單梳理比較。
1.DataX
1.1介紹
DataX是阿里巴巴集團開源的一款異構資料來源離線同步工具，旨在實現各種資料來源之間穩定高效的資料同步功能。它支援包括關係型資料庫(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等多種異構資料來源。為了解決異構資料來源同步問題，DataX採用星型資料鏈路架構，將複雜的網狀同步鏈路簡化為中心式資料同步，DataX作為中間傳輸載體負責連線各種資料來源，實現新資料來源與已有資料來源之間的無縫資料同步。
DataX本身作為離線資料同步框架，採用Framework + plugin架構構建。將資料來源讀取和寫入抽象為Reader和Writer外掛，納入到整個同步框架中。
1.2特點
- 異構資料庫和檔案系統之間的資料交換
- 採用Framework+plugin架構構建，Framework處理了緩衝，流控，併發，上下文載入等高速資料交換的大部分技術問題，提供了簡單的介面與外掛互動，外掛僅需實現對資料處理系統的訪問。
- 資料傳輸過程在單程式內完成，全記憶體操作。
- 擴充性強，開發者可以開發一個新外掛支援新的資料庫檔案系統。
2.Kettle
2.1介紹
kettle是一款全球開源ETL資料整合工具，具有多樣的資料整合功能，支援各種資料來源和目標。提供直觀的視覺化配置介面，強大的資料轉換和處理能力，包括清洗、轉換、過濾等操作。可擴充套件的架構，允許使用者開發自定義外掛和擴充套件。跨平臺支援和靈活的部署選項。擁有龐大的使用者社群和活躍的開發者社群，提供全面的支援和資源。
Transformatiobn：完成對資料的基本轉換。
Job: 完成整個工作流的控制。
簡單理解, 一個轉換(Trans)就是一個ETL的過程，而作業（Job）是多個轉換的集合， 在作業中可以對轉換或作業進行排程，定時任務。
2.2 特點
- 免費開源，可跨平臺（因為是純java編寫）
- Kettle提供了直觀的圖形化介面，使用者可以透過拖拽元件來構建資料流程，無需編寫程式碼。
- 兩種指令碼檔案，trans負責資料轉化，job負責整個工作流的排程控制。
- 支援作業排程和監控，可以自動化執行資料整合任務。
3.ETLCloud
3.1介紹
ETLCloud是一款由國內RestCloud推出的全域資料整合工具，他對標的主要是替換上面這些全球化的ETL資料整合工具，也是國內目前免費的ETL資料整合工具，具有廣泛的資料整合元件，內建支援上百種應用的整合，這是其他ETL均不具備的能力，支援各種資料來源和目標。提供WEB直觀的視覺化配置介面，強大的資料轉換和處理能力，包括清洗、轉換、過濾等操作。可擴充套件的三層架構，同時允許使用者開發自定義外掛和擴充套件。
3.2特點
- 基於微服務架構開發支援分散式部署同時支援上萬流程的排程與執行
- 平臺簡單易用開箱即用，無需安裝客戶端軟體只需瀏覽器即可
- 支援多種資料來源(RDBS、NOSQL、API、Excel、kafka、hive等)、支援CDC、MQ流式資料的實時處理，支援批流資料的合併
- 支援各種不同資料來源之間資料型別的自動轉換，極大提升流程的構建速度
- 支援資料緩衝庫功能，提供中間緩衝資料功能
與Kettle、DataX相比，ETLCloud在視覺化監控、叢集部署、告警和實時能力等方面具備優勢。此外，ETLCloud還擁有一個活躍的社群群體，提供技術支援和全面的幫助文件和影片資源。能夠滿足各種企業的資料整合需求。