資料整合平臺一般具備什麼功能？

1、開箱即用的聯結器。它可與常見的企業系統、SaaS平臺、資料庫、資料湖、大資料平臺、API和雲資料服務快速整合。例如，假設你想要連線 Salesforce 資料，捕獲帳戶和聯絡人，並將資料推送到 AWS Relational Database Service，整合平臺可能已經預先構建了聯結器，並準備好在資料管道中使用。

 

2、處理相關資料結構和檔案型別以外的多種資料結構和格式的能力。資料整合平臺通常支援 JSON、XML、Parquet、Avro、ORC，或許也能支援特定行業的格式，例如金融服務中的 NACHA、醫療保健中的 HIPAA EDI 和保險中的 ACORD XML。

 

3、高資料質量和主資料管理能力可能是資料整合平臺的特性，也可能是開發人員可以從資料管道介面得到的附加產品。

 

4、一些資料整合平臺以資料科學和機器學習能力為目標，包括分析元素處理和與機器學習模型的介面。一些平臺還提供資料準備工具，以便資料科學家和分析師可以構建原型並開發整合。

 

5、Dataops 能力可以用於維護測試資料集、捕獲資料沿襲、支援管道重用和自動化測試。

 

6、專門用於開發和增強整合的工具。通常低程式碼視覺化工具支援拖放處理元素、配置元素並將它們連線到資料管道中。

 

7、Devops 功能，例如支援版本控制、資料管道部署自動化、拆除和關閉測試環境、在暫存環境中處理資料、擴大和縮小生產管道基礎設施以及啟用多執行緒執行。

 

8、在執行時，資料整合平臺可利用多種方式觸發資料管道，例如排程作業、事件驅動觸發器或實時流處理模式。

 

9、可觀察到的生產資料管道可以提供效能報告、資料來源問題警報，並提供診斷資料處理問題的工具。

 

10、多種支援安全性、合規性和資料治理要求的工具，例如加密格式、審計功能、資料遮蔽、訪問管理以及與資料目錄的整合。

 

11、資料整合管道不是孤立執行的。頂級平臺可與 IT 服務管理、敏捷開發和其他 IT 平臺整合。

12、多種託管選項，包括資料中心、公共雲和SaaS。