產品概述

1. 我們不僅僅是資料的搬運工，還是資料搬運過程中加工處理的工廠。 我們不僅僅適用關係型資料庫中，還適配當下流行的時序資料庫、訊息中介軟體中。

2. etl-engine的核心思想是為使用者快速搭建ETL產品提供解決方案，讓使用者低程式碼乃至零程式碼將ETL產品整合到自己的專案或產品生態中。

3. 該產品由etl-engine引擎和etl-designer雲端設計器及etl-crontab排程組成。

4. etl-engine引擎負責解析ETL配置檔案並執行ETL任務；

5. etl-designer雲端設計器透過拖拉拽的方式生成etl-engine引擎可識別的ETL任務配置檔案；

6. etl-crontab排程設計器負責按時間週期執行指定的ETL任務，及查詢ETL任務執行日誌功能。

應用場景

異構系統資料交換

傳統行業各業務系統資料相對獨立，隨著資訊平臺一體化、資料中臺及大資料時代的推進，要求各業務系統資料相互融合，業務資源共享。

etl-engine 支援對關係型資料庫、時序資料庫等不同媒體進行資料交換。

資料分發閘道器

電商、物聯網等領域在裝置上報資料、日誌採集、軌跡埋點等場景中從資料接收、再次加工、資料分發、資料格式化儲存的要求尤為突出。

etl-engine 支援 kafka 、 rocketmq 、 prometheus 等多種資料來源的接收；

支援在接收過程中對資料進行各種轉換、清洗、治理；

支援將同一資料來源的資料經過再次加工後同時分發到多種目標中。

產品優勢

n    輕量級

該產品由 Go 語言開發，與生俱來的效率高，無需依賴各種動態庫、靜態庫，部署方便，開箱即用，輕量級引擎。

n    配置簡單

透過雲端 etl-designer 設計器，視覺化拖拉拽方式就可以實現 ETL 任務的定製化配置工作及排程配置工作。

n    跨平臺

直接編譯成二進位制檔案，支援跨平臺執行（ windows 、 linux 、 mac ），只需要一個可執行檔案和一個配置檔案就可以執行，無需其它依賴。

n    整合度高

etl-crontab 排程整合了 etl-designer 雲端設計器，只需執行一個執行檔案即獲得兩個產品功能，支援 HTTP/HTTPS 協議訪問，為方便使用者產品整合，該功能可根據需要獨立分發也可整合分發。

n    解析 Go 指令碼

etl-engine 中任意一個輸出節點都可以嵌入 go 語言指令碼並進行解析性執行，實現對輸出資料流的格式轉換功能。

n    動態配置

為滿足業務場景需要， etl-engine 支援 ETL 配置檔案中使用外部傳遞的全域性變數，實現動態更新 ETL 配置檔案功能。

n    遵循 pipeline 模型

任意一個輸入節點可以同任意一個輸出節點進行組合；

任意一個輸入節點都可以透過組合資料流複製節點，實現從一個輸入同時分支到多個輸出的場景；

任意一個輸出節點都可以嵌入 go 語言指令碼並進行解析，實現對輸出資料流的格式轉換功能。

n    支援二開

支援節點級二次開發，透過配置自定義節點，並在自定義節點中配置 go 語言指令碼，可擴充套件實現各種功能操作。

n    日誌查詢

支援對 etl-engine 各節點執行情況的查詢功能，方便監控執行軌跡。

n    執行情況報警

支援將任務執行失敗情況透過 HTTP/HTTPS 、 SMS 方式上送報警功能。

n    安全性

暴露的服務介面支援 HTTPS 證書雙向認證、 Basic Auth 認證、 Token 方式訪問。

n    高可用

支援將 N 個 etl-crontab 服務端註冊到 consul 服務中心，整合商可透過從 consul 服務中心發現 etl-crontab 服務端地址，以實現高可用。

技術指標

支援部署模式

1. 按原有產品功能前後端整合或前後端分離部署；

2. 按使用者個性化需求定製開發部署；

支援作業系統

Windows 、Linux 、Unix 、Mac

支援資料來源型別

n    檔案型別

Excel 、 CSV

n    資料庫型別

MySQL 、 PostgreSQL 、 Oracle 、 Sqlite 、 Redis

n    訊息中介軟體

Kafka 、 Rocketmq

n    時序資料庫

Influxdb 、 Clickhouse 、 Prometheus

產品試用地址

github.com/hw2499/etl-engine

 技術支援

vx：weigeonlyyou