RestCloud ETL資料交換平臺,支援分散式部署
RestCloud
ETL資料交換平臺是基於微服務架構完全自主研發和創新的新一代資料整合平臺,透過視覺化的拖、拉、拽即可完成資料整合流程的構建並實現資料抽取、轉換、清洗、脫敏、載入等功能,從架構、易用性、傳輸效能、視覺化、功能豐富性等方面均全面超越Kettle等開源ETL工具。透過容器化技術RestCloud ETL支援大規模的分散式部署架構,可以根據資源利用率實現動態的彈性伸縮實現上萬流程的同時排程與併發執行。透過疊加API服務平臺即可快速落地構建一個輕量級的資料中臺。
一、平臺的主要優勢
1、基於微服務架構開發,支援分散式部署,同時支援上萬流程的排程與執行;
2、專為解決大型企業的複雜資料整合場景而研發;
3、支援完整的跨資料庫事務控制,保證多個資料來源傳輸資料高度一致性;
4、支援多資料來源之間資料流的合併、拆分、聚合等操作;
5、支援超過40+資料來源的連結包括國產資料庫;
6、支援自定義資料檢查規則、質量規則、補全規則等可以實現複雜的資料整合需求;
7、支援各種不同資料來源之間資料型別的自動轉換,極大提升整合流程的構建速度;
8、全Web前後端分離架構,所有能力均釋出為API可輕鬆對接第三方業務系統;
9、支援批流一體化處理,大幅提升資料的採集和同步時間。
二、實時資料流支援
RestCloud ETL資料交換平臺支援多種實時資料流的接入,支援Kafka實時資料流接入、支援MQTT物聯網資料實時接入、支援HTTP實時資料流接入,實時資料流經過清選、轉換、計算後可以實時儲存到資料倉儲中。
三、支援對接各種電商及SaaS系統
平臺已內建多種電商及SaaS系統的對接介面及認證方式,透過資料整合平臺可以快速的協助企業把SaaS及電商平臺中的資料拉取到私有的資料庫中,透過平臺的清洗、轉換、運算功能可以一步完成資料對接工作,大幅提升資料的時效性降低資料整合成本。
四、主要適用場景
RestCloud ETL資料交換平臺的目標是幫助企業快速實現資料整合、資料採集、資料服務於一體的輕量級資料中臺產品,透過視覺化的元件拖拽,實現快速的從資料採集、傳輸、轉換、脫敏、運算到服務釋出的全過程;透過資料整合/交換平臺,可以在多個業務系統之間實現複雜的資料分發以及推送,同時也支援跨集團公司的資料傳輸與共享釋出,協助企業快速構建輕量級資料中臺等場景;同時RestCloud支援實時資料流的處理,可以實時接入物聯網、Kafka等的實時資料流並進行實時運算處理後存入企業的實時數倉中。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/70005218/viewspace-2788346/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- ETL資料整合平臺,RestCloud視覺化ETLRESTCloud視覺化
- ETL資料整合,RestCloud資料整合平臺RESTCloud
- 通過容器化技術RestCloud ETL支援大規模的分散式部署架構RESTCloud分散式架構
- RestCloud ETL平臺是怎樣的?RESTCloud
- Docker部署RestCloud ETL社群DockerRESTCloud
- RestCloud ETL WebService資料同步到本地RESTCloudWeb
- RestCloud iPaaS混合整合平臺,資料整合RESTCloud
- Restcloud ETl實踐之資料行列轉換RESTCloud
- RestCloud測試平臺,支援壓力測試RESTCloud
- 國產 ETL工具 ETL產品 資料交換系統
- 使用RestCloud ETL輕鬆解決WebService資料同步RESTCloudWeb
- RestCloud ETL抽取動態庫表資料實踐RESTCloud
- Restcloud ETL實踐之Excel檔案資料採集RESTCloudExcel
- 分散式平臺分散式
- Restcloud ETl資料通過時間戳實現增量資料同步RESTCloud時間戳
- Restcloud ETL社群版,即插即用RESTCloud
- Elixir 分散式平臺分散式
- 資料共享交換平臺的實踐分享
- RestCloud API智慧識別平臺,實現資料高效開放RESTCloudAPI
- RestCloud ETL與Kettle對比分析RESTCloud
- 分散式流平臺Kafka分散式Kafka
- 流批一體資料交換引擎 etl-engine
- RestCloud ETL實踐之無標識位實現增量資料同步RESTCloud
- RestCloud ETL 社群版背後的故事RESTCloud
- 實時資料交換平臺-BottledWater-pgwithconfluent
- 資料庫會演變成分散式計算平臺嗎? - Nikita資料庫分散式
- 第九章 webase 分散式中介軟體平臺快速部署Web分散式
- 新一代ETL資料整合平臺,實現企業業務資料融合
- 企業ETL資料流管理系統--資料平臺建設方案探討
- SequoiaDB巨杉資料庫攜手民生銀行分散式資料管理平臺資料庫分散式
- RestCloud ETL社群積分商城重磅上線RESTCloud
- Restcloud ETL 我的演算法我做主RESTCloud演算法
- 一款分散式爬蟲管理平臺,支援多種語言和框架分散式爬蟲框架
- CnosDB 狂歡!全面支援 Helm 部署,輕鬆搞定你的分散式時序資料庫!分散式資料庫
- 鏈家分散式作業平臺分散式
- Hadoop大資料平臺之HBase部署Hadoop大資料
- Hadoop大資料平臺之Kafka部署Hadoop大資料Kafka
- 大資料平臺生產環境部署指南大資料