通過Web ETL統一排程和管理DataX任務

 

DataX是一款功能強大的資料整合平臺 ， 但是其無WEB管理介面使得DataX任務在管理與排程方面存在不少問題，任務多了後很難管理和維護，同時使用和學習成本也比較高，今天就介紹下用RestCloud ETL怎麼來快速的管理和排程DataX任務，通Web介面即可以方便的排程DataX的任務，增強DataX的管理和告警能力。

首先登入進入 Restcloud ETL平臺

在應用中建立一個新的流程後，開啟設計流程找DataX排程器元件拖入畫布中

（在當前伺服器執行）

可以直接指定在當前伺服器上的DataX任務檔案執行。配置好DataX的目錄地址、任務名稱以及執行時所需要的引數即可。還可以動態配置執行時的JVM引數。

（遠端伺服器執行）

也可以 直接指定在遠端伺服器上執行的DataX任務檔案。只需要配置伺服器資訊即可。

如上圖所配置的資訊儲存節點後點選執行即可以執行DataX的任務 。

（DataX任務執行日誌）

通過任務的日誌可以很清楚的看到DataX任務的執行情況以及錯誤資訊，不需要再上伺服器查詢對應日誌。

（流程監控圖）

智慧分析任務執行成功與失敗的數量，在WEB介面一目瞭然。

任務沒有問題後給流程安排一個定時執行時間即可。

（預警資訊配置）

如果報錯可以在事件中設定一個釘釘訊息或者企業微信訊息即可通知到運維人員，馬上對有問題的任務進行處理，這樣就解決了DataX任務出問題得不到通知的問題。

以上通過RestCloud ETL就快速的完成了對DataX任務的統一排程 。