RestCloud ETL WebService資料同步到本地
企業裡面有很多業務系統只能提供WebService介面如SAP等,還有一些SaaS系統也只提供WebService的介面如Workday等,對於這些系統的資料我們可以使用ETL工具進行呼叫然後把XML中的資料進行解析後儲存到資料庫中或者同步到本地的其他業務系統中,使用RestCloud ETL工具只需簡單兩步即可完成上述資料的同步而且無需編碼,現在來看下實現過程。
首先登入RestCloud ETL平臺
使用ETL呼叫WebService介面實時拉取資料到本地數庫中
開啟一個應用或者新建一個應用均可,然後進入到流程列表中
使用ETL呼叫WebService介面實時拉取資料到本地數庫中
建立一個WebService同步任務
使用ETL呼叫WebService介面實時拉取資料到本地數庫中
從左則分別拉取一個WebSerivce節點和庫表輸出節點,目標節點我們選擇mysql資料來源
使用ETL呼叫WebService介面實時拉取資料到本地數庫中
輸入WebService的WSDL地址並指定我們要讀取XML中返回的那個資料欄位,這裡我們將獲取公網上的一個WebService介面服務地址如下:
使用ETL呼叫WebService介面實時拉取資料到本地數庫中
以上是這個WebSerivce的服務說明文件,我們呼叫他其中的一個方法獲取區域以及編碼資料然後傳到mysql中進行儲存。
使用ETL呼叫WebService介面實時拉取資料到本地數庫中
輸入引數的XML可以使用SoapUI工具進行解析然後複製進來即可,這樣我們的WebService節點就配置完成了。
後面的MySql節點就比較容易了,可以提前先建好表,也可以由ETL任務自動建立表,我們這裡選擇由ETL工具自動建表並輸出資料到mysql。
使用ETL呼叫WebService介面實時拉取資料到本地數庫中
這裡輸入一張不存在的表即可,系統會自動建立這張表
使用ETL呼叫WebService介面實時拉取資料到本地數庫中
然後配置這張表要接收資料的欄位,系統將根據此配置欄位進行資料庫表的建立。
使用ETL呼叫WebService介面實時拉取資料到本地數庫中
輸出選項中我們選擇第一次執行時清空目標表,自動建表,逐條更新即可,配置完成後儲存流程,即可以開始除錯執行,現在我們來執行一下看看效果。
使用ETL呼叫WebService介面實時拉取資料到本地數庫中
點選執行,選擇單步除錯,可以看到拉取的區域資料,並會存入到mysql中
使用ETL呼叫WebService介面實時拉取資料到本地數庫中
在除錯介面中我們可以看到拉取到了79條資料,再點下一步即可存入到mysql中
使用ETL呼叫WebService介面實時拉取資料到本地數庫中
任務執行結果顯示成功79條資料到mysql中,我們可以去mysql表中預覽一下是不是把區域資料拉到mysql中了。
使用ETL呼叫WebService介面實時拉取資料到本地數庫中
開啟mysql客戶端可以看到WebSerivce中的資料已經成功拉取到本地mysql中了,如果除錯沒有問題我們就可以給他安排一個定時任務,定時同步webservice中的資料到本地即可。
使用ETL呼叫WebService介面實時拉取資料到本地數庫中
可以選擇每天晚上同步一次或其他同步時間可以自定義同步頻率
上面我們就透過RestCloud ETL簡單兩步配置即實現了WebService介面的資料拉取同步任務,可以說是非常簡單
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/70005218/viewspace-2902904/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 使用RestCloud ETL輕鬆解決WebService資料同步RESTCloudWeb
- Restcloud ETl資料通過時間戳實現增量資料同步RESTCloud時間戳
- ETL資料整合平臺,RestCloud視覺化ETLRESTCloud視覺化
- ETL資料整合,RestCloud資料整合平臺RESTCloud
- 如何將本地資料同步到 shopify 或 shopify 資料同步到本地
- RestCloud ETL實踐之無標識位實現增量資料同步RESTCloud
- Restcloud ETl實踐之資料行列轉換RESTCloud
- RestCloud ETL資料交換平臺,支援分散式部署RESTCloud分散式
- RestCloud ETL抽取動態庫表資料實踐RESTCloud
- Docker部署RestCloud ETL社群DockerRESTCloud
- Restcloud ETL實踐之Excel檔案資料採集RESTCloudExcel
- ETL資料整合丨SQLServer到Doris的無縫資料同步策略SQLServer
- Restcloud ETL社群版,即插即用RESTCloud
- RestCloud ETL與Kettle對比分析RESTCloud
- RestCloud ETL 社群版背後的故事RESTCloud
- RestCloud ETL平臺是怎樣的?RESTCloud
- ETL快速同步 用友u8資料方式
- RestCloud ETL社群積分商城重磅上線RESTCloud
- Restcloud ETL 我的演算法我做主RESTCloud演算法
- ETL資料整合丨將GreenPlum資料同步至Doris數倉
- RestCloud ETL社群 九月精選問答RESTCloud
- RestCloud ETL社群 八月精選問答RESTCloud
- RestCloud ETL社群版序列號相關諮訊RESTCloud
- RestCloud ETL解決shell指令碼引數化RESTCloud指令碼
- 4月18日“RestCloud ETL社群版”重磅推出RESTCloud
- mysql dump 拉取遠端資料同步到本地庫的shell 指令碼MySql指令碼
- ETL資料整合丨透過ETLCloud工具,將Oracle資料實時同步至Doris中CloudOracle
- centos同步yum源到本地,建立本地網路yum源CentOS
- rsync同步和備份檔案到本地
- 國產 ETL工具 ETL產品 資料交換系統
- ETL資料載入策略
- 資料同步:教你如何實時把資料從 MySQL 同步到 OceanBaseMySql
- DataX將MySql資料庫資料同步到Oracle資料庫MySql資料庫Oracle
- WebService共享資料的使用Web
- SQL資料同步到ElasticSearch(三)- 使用Logstash+LastModifyTime同步資料SQLElasticsearch
- RestCloud iPaaS混合整合平臺,資料整合RESTCloud
- 利用Swagger UI介面文件同步本地Mock資料SwaggerUIMock
- DataX將Oracle資料庫資料同步到達夢資料庫Oracle資料庫