使用RestCloud ETL輕鬆解決WebService資料同步

 

當前許多企業的業務系統甚至是SAAS系統只能提供WebService介面，如SAP、Workday等。

如何才能將眾多的WebService介面同步到本地或資料中心呢？

傳統的做法是透過編寫程式碼實現，該做法不僅開發效率低而且維護困難，任何介面的變更都需要重新修改程式碼。如果有一種能簡單、高效地輕鬆解決該問題的工具，這應該是所有資料整合開發工程師的共同需求。

RestCloud ETL正是一款這樣的工具，以下分享如何 使用RestCloud ETL工具無需編碼，只需簡單兩步即輕鬆完成WebService資料同步方法。

一、實現原理

RestCloud ETL提供100+的資料元件，這裡我們只需要使用其中2個元件：WebService呼叫元件，表輸出元件即可輕鬆實現WebService的資料同步。

      實現原理如下圖：

WebService呼叫元件完成WebService介面接入、XML資料解析、資料格式；表輸出元件完成格式後的資料載入到資料庫中，表輸出元件支援幾十種資料來源。

 

二、實現過程

2.1、登入RestCloud ETL平臺

進入整合開發應用開發頁面

建立一個WebService資料同步任務

 

2.2、WebService資料同步流程設計

2.2.1 流程設計

在流程設計頁面，拖拽出兩個元件：

2.2.2配置元件資訊：

1、配置WebService

WebService配置項中在輸入WebService介面URL：

這裡我們將獲取公網上的一個WebService介面服務地址如下：

注意這個WebService有好幾個方法我們需要在節點的Header中SOAPAction中指定具體呼叫其中的那一個方法。

我們呼叫他其中的一個方法獲取區域以及編碼資料然後傳到mysql中進行儲存。

使用ETL呼叫WebService介面實時拉取資料到本地數庫中

輸入引數的XML可以使用SoapUI工具進行解析然後複製進來即可，這樣我們的WebService節點就配置完成了。

後面的MySql節點就比較容易了，可以提前先建好表，也可以由ETL任務自動建立表，我們這裡選擇由ETL工具自動建表並輸出資料到mysql。

 

2、配置表輸出資訊

這裡輸入一張不存在的表即可，系統會自動建立這張表

然後配置這張表要接收資料的欄位，系統將根據此配置欄位進行資料庫表的建立。

輸出選項中我們選擇第一次執行時清空目標表，自動建表，逐條更新即可,配置完成後儲存流程，即可以開始除錯執行，現在我們來執行一下看看效果。

 

2.3 執行除錯

點選執行，選擇單步除錯，可以看到拉取的區域資料，並會存入到mysql中

在除錯介面中我們可以看到拉取到了79條資料，再點下一步即可存入到mysql

任務執行結果顯示成功79條資料到mysql中，我們可以去mysql表中預覽一下是不是把區域資料拉到mysql中了。

使用ETL呼叫WebService介面實時拉取資料到本地數庫中

開啟mysql客戶端可以看到WebSerivce中的資料已經成功拉取到本地mysql中了，如果除錯沒有問題我們就可以給他安排一個定時任務，定時同步webservice中的資料到本地即可。

使用ETL呼叫WebService介面實時拉取資料到本地數庫中

可以選擇每天晚上同步一次或其他同步時間可以自定義同步頻率

上面我們就透過RestCloud ETL簡單兩步配置即實現了WebService介面的資料拉取同步任務，可以說是非常簡單。

 

三、RestCloud ETL資料整合自動化

RestCloud  ETL社群版是一款資料整合工具，提供視覺化多資料管道構建、資料來源管理、執行監控及許可權管理功能。RestCloud作為一家 資料整合自動化創新企業，我們致力於成為世界級的資料整合平臺，我們將為此不懈努力，不斷前行。

感謝您對我們的關注和支援！

如需瞭解更多的產品相關資訊，請加入RestCloud ETL社群免費下載體驗