ETL資料整合,RestCloud資料整合平臺

RestCloud發表於2021-09-02

RestCloud ETL資料整合平臺是基於微服務架構的新一代資料整合平臺,是為企業提供業務系統資料之間的整合以及異構資料來源之間的資料傳輸於一體的一站式的資料處理平臺,全Web化配置開箱即用,多種異構資料來源之間透過平臺快速進行資料交換,快速幫助企業構建資料整合平臺,同時透過疊加API服務平臺即可快速落地構建一個輕量級的資料中臺。

一、WEB視覺化流程定義

透過Web介面的拖、拉、拽,即可快速構建資料整合流程,支援資料線上預覽、流程全過程除錯,Web介面追蹤除錯日誌等功能。平臺兼具實時資料處理和資料整合分發功能,使用者透過視覺化的拖、拉、拽,即可完成資料處理邏輯,將資料加工處理後分發到下游業務系統或其他異構儲存中。

二、實時傳輸監控/動態回放傳輸過程

提供Web化的實時資料傳輸監控平臺,可以清析的看到每個節點讀取的資料量、插入的資料量、更新的資料量、刪除的資料量、同時可以在日誌中看到所有傳輸成功和傳輸失敗的資料記錄,傳輸失敗的資料記錄平臺會自動記錄失敗原因和資料內容方便對資料質量進行控制。

支援執行流程的動態回放功能,對於複雜的資料整合流程可以清析的看到資料的傳輸路徑及時定位錯誤。

三、人工審批支援

對於重要資料或手工填報資料為了保證資料質量和可靠性支援人工稽核節點,人工稽核節點支援會籤模式,資料審批人員可以針對不合格的資料進行刪除、修改、拒絕等操作阻止資料流入目標資料庫表,同時提供Restful API介面可以對接OA系統的審批流程,實現更為複雜的資料審批流程。

RestCloud ETL資料整合平臺支援在Mongo DB中儲存所有源表到目標表之間的交換資料,可根據源表或目標檢視資料的來龍去脈對資料交換的過程進行全程掌控,同時支援使用Mongo DB作為緩衝庫來儲存傳輸的資料,可以把生產系統中的資料先行抽取到緩衝庫中,再從緩衝庫中載入到目標業務系統,可以最大程度減輕對生產系統的壓力。


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/70005218/viewspace-2790114/,如需轉載,請註明出處,否則將追究法律責任。

相關文章