RestCloud ETL 社群版背後的故事

一 、 背景

資料價值的挖掘應用為當今社會的數字化程式開闢出了一個新的發展方向，未來更多的企業將逐漸進行數字化轉型，以便於參與到資料產業體系當中，從而獲得更強的創新能力和可持續發展能力。資料整合作為資料產業體系中其中一個基礎環節，也是最底層的環節。因此、資料整合效果的優劣很大程度造成資料產業鏈的影響。

從貝哲斯資訊諮詢釋出的2022-2028年中國資料整合工具市場資料分析與行業洞察報告中所列舉的資料整合工具主要市場參與者有Informatica、FiveTran、Talend、Oracle、Denodo、IBM、Microsoft、SAP、Tibco、Matillion、SAS、Kettle等，國內企業無一上榜。

Restcloud作為一家資料整合自動化創新企業，致力於成為世界級的資料整合平臺研發型企業，我們聚集了一批致力於用程式碼改變資料整合行業的研發工程師、為了實現這一目標，Restcloud 結合多年的資料整合專案建設經驗及對資料整合應用的探索和研究，從零開始研發了這款真正完全國產化的資料整合工具、我們致力於打破國外企業在資料整合領域的壟斷地位，同時為了進一步推進資料整合工具快速國產化，我們決定推出資料整合工具社群版，以滿足國內眾多資料整合工程師的廣泛需求，讓國內資料整合工程師擺脫資料整合的痛苦,同時我們透過快速的產品迭代不斷為使用者帶來更好的使用體驗，我們相信山再高，往上攀，總能登頂。

 

 

二、 產品亮點

  1、易用性

工具採用全Web視覺化配置開箱即用，拖拽式“零”程式碼配置操作，大幅度降低資料採集任務構建的工作量及複雜性，相比於同類資料整合工具效率提升60%以上。

2、適用性

我們除提供 SaaS版本外，充分考慮到國內眾多企業資料還沒有上雲的情況下，特別提供了私有化單機部署、叢集部署，容器部署等模式，企業可根據自身需求選擇不同的部署架構，全方位助力企業數字化轉型。

3、擴充套件性

在資料處理層面，工具不僅提供近100+資料處理元件(不斷迭代推出更多元件中)，同時創新的提供了資料規則處理外掛，透過規則外掛每個企業和使用者都可以自定義資料處理規則，從而實現各行各業的資料整合場景。同時我們提供了通用的公共外掛，外掛化是RestCloud資料整合平臺的最大特色。所有開發人員都可以輕鬆的自定義資料整合處理外掛，而且是全Web化開發外掛熱載入，相對於AirByte、DataX、Kettle等的資料處理外掛開發RestCloud的資料整合外掛開發更高效、更容易、更靈活，可以說是樹立了資料整合領域的新標杆。

4、協同開發

提供多人線上協同開發能力：提供多租戶的資料整合開發作業，統一管理模式，使企業大規模資料整合更加輕鬆資料開發更安全。
資料同步與應用的協同作業：資料管道不但能根據排程策略進行自動執行，也能釋出成為API給第3方應用進行呼叫執行，實現資料採集與應用的協同作業。
影片：將流程釋出為API，並展示API的呼叫，顯示呼叫的過程及結果。

5、單步除錯

工具在視覺化開發基礎上，在除錯日誌基礎上創新性研發出視覺化的單步除錯功能，全面隨意掌控流程執行中的任何環節的資料狀態，進一步提升資料管道的可靠性，同時可以大幅提升資料整合任務的開發效率。

6、實時監控預警

採用資料視覺化模式實時輸出工具、任務、資料等執行情況，同時採用智慧演算法對實時執行日誌、歷史執行日誌計算分析工具執行、任務、資料等進行監測。

7、分散式排程

平臺提供分散式排程能力，透過叢集伺服器的增加可以即可快速提升併發任務數的併發能力。

8、微服務架構

平臺採用SpringBoot、SpringCloud微服務架構體系開發，支援DockerK8S容器化部署，可以進行大規模的動態叢集來提升任務併發數以及資料處理量。

9、資料庫支援

平臺目前已經支援主流的NOSQL和SQL資料庫40+，後繼我們將繼續整合更多的資料庫和連結元件。

 

三 、 部分客戶案例

Restcloud ETL 致力於提供複雜網路環境下、豐富的異構資料來源之間高速穩定資料傳輸處理能力，以及繁雜業務下的資料同步解決方案。目前已經支援零售、製造、金融行業客戶構建超過30000條資料管道，每日同步資料超過10億條。在經過大規模的執行驗證後推出社群版本，以下為部分應用客戶：