資料整合實現以及平臺安裝部署入門

ETLCloud是什麼?

ETLCloud是一個提供了一套工具和服務的資料整合平臺，用於將資料從不同的來源抽取（Extract）、轉換（Transform）和載入（Load）到目標系統中。ETL代表了這個過程的三個主要步驟。

抽取（Extract）：從不同的資料來源中獲取資料，可以是關係型資料庫、檔案、Web服務或其他資料儲存系統。ETLCloud提供了各種聯結器和介面，使使用者能夠方便地從多個來源提取資料。

轉換（Transform）：在資料抽取後，進行清洗、轉換和整理操作，以確保資料的質量和一致性。這包括資料清理、格式轉換、資料合併、計算指標等。ETLCloud提供了豐富的轉換功能和預定義的轉換規則，使使用者能夠根據自己的需求對資料進行處理和轉換。

載入（Load）：將經過轉換的資料載入到目標系統中，可以是資料倉儲、資料湖、業務應用程式或其他目標系統。ETLCloud支援多種目標系統，並提供了靈活的載入選項和配置，以滿足不同的需求。

ETLCloud的目標是簡化和加速資料整合和轉換過程，使使用者能夠更輕鬆地處理和管理大量資料。它提供了視覺化的介面和易於使用的工具，使非技術人員也能夠進行資料整合和轉換操作。此外，ETLCloud還提供了監控、排程和自動化功能，以確保資料的及時性和準確性。

 

如何實現資料整合?

實現資料整合可以採用多種方法和技術，下面是一些常見的資料整合實踐：

批次匯入/匯出：

這是最簡單的資料整合方式之一。透過使用檔案格式（如CSV、Excel等），將資料從一個系統匯出到檔案中，然後再將檔案匯入到目標系統中。這種方法適用於小規模的資料整合需求，但對於大規模資料或頻繁更新的資料可能不夠高效。

資料庫聯結器：

使用資料庫聯結器可以直接連線到源資料庫和目標資料庫，並在兩個資料庫之間進行資料傳輸。這種方法適用於關係型資料庫之間的資料整合，可以使用SQL語句進行資料抽取、轉換和載入操作。

API整合：

如果源系統和目標系統都提供了API介面，可以透過呼叫API來實現資料整合。這種方法需要根據API文件瞭解介面的使用方法和引數，然後編寫程式碼來進行資料傳輸和轉換。

ETL工具：

ETL（Extract, Transform, Load）工具是專門用於資料整合和轉換的軟體。它們提供了視覺化的介面和工具，使使用者能夠透過拖拽和配置來實現資料抽取、轉換和載入操作。ETL工具通常支援多種資料來源和目標系統，並提供了豐富的轉換功能和預定義的轉換規則。

資料管道：

資料管道是一種將資料從源系統傳輸到目標系統的自動化流程。它可以根據預定的時間表或事件觸發來執行資料整合任務，並提供了監控、錯誤處理和日誌記錄等功能。資料管道可以使用專門的資料整合平臺或自行開發實現。

 

安裝部署方式和部署操作流程簡介

官網下載軟體包以及環境搭建：

ETLCloud官網 下載 軟體包

本文示例為windows全量包，安裝準備:
1.需要安裝JDK1.8u201

 

2.安裝MongoDB4.x

 

 

因為篇幅問題，不便過多描述JDK和mongoDB的安裝，有興趣的小夥伴，可以去網上找一下資源，這次主要演示ETLCloud的安裝

 

安裝平臺流程：

解壓下載的tomcat壓縮包，並在/webapps/ROOT/WEB-INF/classes目錄下修改application.properties檔案配置連結MongoDB的資訊。

 

進入tomcat資料夾下面的bin目錄，雙擊startup.bat檔案，這裡我的目錄為"F:\tomcat\apache-tomcat-9.0.68\bin"

 

等待tomcat啟動，當出現這個介面，則restcloud證明啟動成功

 

 

訪問ETLCloud資料整合平臺：

訪問地址：{host}/restcloud/admin/login
產品預設使用者名稱密碼: admin/pass

 

申請序列號：

登入成功後,若序列號過期或沒有序列號點選下方藍色字型去到個人中心申請序列號

 

填寫好郵箱和對應的機器號，點選驗證傳送驗證郵件然後就會返回申請的序列號到所填寫的郵箱

 

將返回的序列號填好，點選儲存，重新整理頁面進入到首頁

 

流程示例：

在系統首頁，點選 “離線整合”進入離線整合應用列表，如下圖所示：

點選應用列表中的應用，進入到應用管理頁面，如下圖所示：

點選左側選單 “資料整合流程”->“所有資料流程”或對應流程分類，進入到流程管理頁面，如下圖所示：

流程設計頁面中，配置任務工作流程：選取元件並將元件連線進行連線。

 

流程執行：

設計完成後，任務不會自動執行，需要啟動排程或手動點選【執行】。

檢視執行概況，點選流程前+號。