RestCloud ETL WebService資料同步到本地

RestCloud 發表於 2022-06-27

RestCloud ETL WebService資料同步到本地

企業裡面有很多業務系統只能提供WebService介面如SAP等,還有一些SaaS系統也只提供WebService的介面如Workday等,對於這些系統的資料我們可以使用ETL工具進行呼叫然後把XML中的資料進行解析後儲存到資料庫中或者同步到本地的其他業務系統中,使用RestCloud ETL工具只需簡單兩步即可完成上述資料的同步而且無需編碼,現在來看下實現過程。

首先登入RestCloud ETL平臺

RestCloud ETL WebService資料同步到本地

使用ETL呼叫WebService介面實時拉取資料到本地數庫中
開啟一個應用或者新建一個應用均可,然後進入到流程列表中

RestCloud ETL WebService資料同步到本地 使用ETL呼叫WebService介面實時拉取資料到本地數庫中
建立一個WebService同步任務

RestCloud ETL WebService資料同步到本地

使用ETL呼叫WebService介面實時拉取資料到本地數庫中
從左則分別拉取一個WebSerivce節點和庫表輸出節點,目標節點我們選擇mysql資料來源

RestCloud ETL WebService資料同步到本地 使用ETL呼叫WebService介面實時拉取資料到本地數庫中
輸入WebService的WSDL地址並指定我們要讀取XML中返回的那個資料欄位,這裡我們將獲取公網上的一個WebService介面服務地址如下:

RestCloud ETL WebService資料同步到本地

使用ETL呼叫WebService介面實時拉取資料到本地數庫中
以上是這個WebSerivce的服務說明文件,我們呼叫他其中的一個方法獲取區域以及編碼資料然後傳到mysql中進行儲存。

RestCloud ETL WebService資料同步到本地

使用ETL呼叫WebService介面實時拉取資料到本地數庫中
輸入引數的XML可以使用SoapUI工具進行解析然後複製進來即可,這樣我們的WebService節點就配置完成了。

後面的MySql節點就比較容易了,可以提前先建好表,也可以由ETL任務自動建立表,我們這裡選擇由ETL工具自動建表並輸出資料到mysql。

RestCloud ETL WebService資料同步到本地 使用ETL呼叫WebService介面實時拉取資料到本地數庫中
這裡輸入一張不存在的表即可,系統會自動建立這張表

RestCloud ETL WebService資料同步到本地 使用ETL呼叫WebService介面實時拉取資料到本地數庫中
然後配置這張表要接收資料的欄位,系統將根據此配置欄位進行資料庫表的建立。

RestCloud ETL WebService資料同步到本地 使用ETL呼叫WebService介面實時拉取資料到本地數庫中
輸出選項中我們選擇第一次執行時清空目標表,自動建表,逐條更新即可,配置完成後儲存流程,即可以開始除錯執行,現在我們來執行一下看看效果。

RestCloud ETL WebService資料同步到本地 使用ETL呼叫WebService介面實時拉取資料到本地數庫中
點選執行,選擇單步除錯,可以看到拉取的區域資料,並會存入到mysql中

RestCloud ETL WebService資料同步到本地 使用ETL呼叫WebService介面實時拉取資料到本地數庫中
在除錯介面中我們可以看到拉取到了79條資料,再點下一步即可存入到mysql中

RestCloud ETL WebService資料同步到本地 使用ETL呼叫WebService介面實時拉取資料到本地數庫中
任務執行結果顯示成功79條資料到mysql中,我們可以去mysql表中預覽一下是不是把區域資料拉到mysql中了。

RestCloud ETL WebService資料同步到本地 使用ETL呼叫WebService介面實時拉取資料到本地數庫中
開啟mysql客戶端可以看到WebSerivce中的資料已經成功拉取到本地mysql中了,如果除錯沒有問題我們就可以給他安排一個定時任務,定時同步webservice中的資料到本地即可。

RestCloud ETL WebService資料同步到本地 使用ETL呼叫WebService介面實時拉取資料到本地數庫中
可以選擇每天晚上同步一次或其他同步時間可以自定義同步頻率

上面我們就通過RestCloud ETL簡單兩步配置即實現了WebService介面的資料拉取同步任務,可以說是非常簡單

  RestCloud ETL WebService資料同步到本地

來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/70005218/viewspace-2902904/,如需轉載,請註明出處,否則將追究法律責任。

相關文章