美創資料支撐平臺釋出,全新升級賦能資料治理

資料安全發表於2021-03-10

在任何資料中心建設中,資料整合總是專案中的技術難點和主要成本所在,其根源在於多個系統和資料的差異性較大,以及對於資料實時性要求越來越高。數字化潮流全面興起,資料碎片化現象更加突出,滿足資料實時性要求,同時降低成本,針對使用者需求, 美創資料支撐平臺迎來全新升級。

 

資料支撐平臺是美創科技資料治理方案中必不可少的工具支撐,平臺集資料抽取、清洗、轉化、裝載於一體,是透過對企業業務系統資料進行標準化,向資料倉儲或大資料分析平臺提供高質量資料的綜合性平臺。

 

美創資料支撐平臺釋出,全新升級賦能資料治理美創資料支撐平臺



此次資料支撐平臺全新版本,在 敏捷性、便捷性、可靠性等方面進行大幅升級,以多源異構資料支援、非入侵式增量採集技術、簡單易操作的圖形化設計介面、豐富轉化元件、以及異常處理和自恢復等能力優勢,進一步提高資料共享與交換效能,為敏捷數字化轉型奠定基礎。


一、產品功能

◎ 支援資料全量靜態抽取及增量實時同步;

◎ 支援各類異構資料來源實時同步;

◎ 資料清洗與轉化:使用者透過對系統資料轉化元件進行拖曳及配置,即可完成相應ETL的開發工作;

◎ 支援後設資料管理,包括:基於XML檔案、基於資料庫的後設資料管理;

◎ 內建針對不同資料問題的質檢規則模型,提供整體資料質量分析報告;

◎ 提供完整的資料治理監控大屏,整個資料治理過程視覺化呈現。


二、產品優勢


美創資料支撐平臺釋出,全新升級賦能資料治理美創資料支撐平臺產品優勢



  1.         豐富資料來源支援及異構資料同步


支援各種主流關係型資料庫和大資料平臺、各種型別資料檔案,滿足使用者實際環境資料來源的多樣性。

  •  資料庫:Oracle、SQL Server、DB2、MySQL、Informix、Sybase、PostgreSQL、Teradata、Greenplum...

  • 大資料平臺:Hive、Impala、HBase、MongoDB...

  • 檔案:TXT、CSV、Excel、JSON、XML...

  • 網路:HTTP輸入、RSS輸入、FTP...

 

2.     非入侵式增量採集技術

非入侵式增量資料採集技術,透過對於源端生產庫的日誌檔案進行解析,實時獲取增加資料。資料抽取的同時,保證對於源端無壓力,保證資料傳輸的實時性。

 

3.     內建豐富轉化元件

內建多達200多種資料轉化元件,以滿足資料清洗、加工、統計等各種使用場景。

4.     異常處理及自恢復

對系統核心元件實時多角度監控,一旦發生故障,自動進行諸如:網路重連、程式重啟、系統恢復等操作,以保證系統穩定執行,降低整體系統維護工作量。

5.     記憶體流式處理技術

採用記憶體流式處理技術,以應對源端大資料量及複雜資料轉換場景,透過流水線式的處理機制,將處理流程整體處理時間壓縮到與單個元件的處理時間上,實現資料實時同步秒級延時。

6.     簡潔易用

圖形化抽取流程設計,內建大量視覺化圖形轉換元件,使用者無需進行任何指令碼語言編寫,透過拖拽方式即可實現資料整合的快速開發和部署。

 

適用場景 :資料歸集、資料同步、資料實時採集、異構資料來源同步、資料上雲、資料迴流等。 


三、應用成效

美創資料支撐平臺在實踐檢驗中交出了一張優異的成績單,穩定性、可管理性、擴充性、靈活性均得到使用者認可,成功賦能使用者資料治理工作。

 

醫保局—醫療保障基金綜合監管系統建設中,美創資料支撐平臺完成對醫保參保庫、資源庫、結算庫,稽核庫、異地就醫等各類業務資料庫的歷史全量資料抽取及增量資料實時採集工作,為醫療保障資料大腦和醫療保障基金綜合分析提供穩定、精準、實時的資料保障。


美創資料支撐平臺釋出,全新升級賦能資料治理部分建設成果展示

 

此外,在衛健委、港口、人社等行業中,資料支撐平臺依靠先進的底層架構設計,無侵入、可續傳、實時完整的資料採集能力,完成各類業務系統的資料採集以及挖掘,在時效性方面達到秒級同步,有效為各項資料業務創新提供能力支撐。


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69973247/viewspace-2762159/,如需轉載,請註明出處,否則將追究法律責任。

相關文章