美創資料支撐平臺釋出,全新升級賦能資料治理
在任何資料中心建設中,資料整合總是專案中的技術難點和主要成本所在,其根源在於多個系統和資料的差異性較大,以及對於資料實時性要求越來越高。數字化潮流全面興起,資料碎片化現象更加突出,滿足資料實時性要求,同時降低成本,針對使用者需求,
美創資料支撐平臺迎來全新升級。
資料支撐平臺是美創科技資料治理方案中必不可少的工具支撐,平臺集資料抽取、清洗、轉化、裝載於一體,是透過對企業業務系統資料進行標準化,向資料倉儲或大資料分析平臺提供高質量資料的綜合性平臺。
美創資料支撐平臺
此次資料支撐平臺全新版本,在 敏捷性、便捷性、可靠性等方面進行大幅升級,以多源異構資料支援、非入侵式增量採集技術、簡單易操作的圖形化設計介面、豐富轉化元件、以及異常處理和自恢復等能力優勢,進一步提高資料共享與交換效能,為敏捷數字化轉型奠定基礎。
一、產品功能
◎ 支援資料全量靜態抽取及增量實時同步;
◎ 支援各類異構資料來源實時同步;
◎ 資料清洗與轉化:使用者透過對系統資料轉化元件進行拖曳及配置,即可完成相應ETL的開發工作;
◎ 支援後設資料管理,包括:基於XML檔案、基於資料庫的後設資料管理;
◎ 內建針對不同資料問題的質檢規則模型,提供整體資料質量分析報告;
◎ 提供完整的資料治理監控大屏,整個資料治理過程視覺化呈現。
二、產品優勢
美創資料支撐平臺產品優勢
-
豐富資料來源支援及異構資料同步
支援各種主流關係型資料庫和大資料平臺、各種型別資料檔案,滿足使用者實際環境資料來源的多樣性。
-
資料庫:Oracle、SQL Server、DB2、MySQL、Informix、Sybase、PostgreSQL、Teradata、Greenplum...
-
大資料平臺:Hive、Impala、HBase、MongoDB...
-
檔案:TXT、CSV、Excel、JSON、XML...
-
網路:HTTP輸入、RSS輸入、FTP...
2. 非入侵式增量採集技術
非入侵式增量資料採集技術,透過對於源端生產庫的日誌檔案進行解析,實時獲取增加資料。資料抽取的同時,保證對於源端無壓力,保證資料傳輸的實時性。
3. 內建豐富轉化元件
內建多達200多種資料轉化元件,以滿足資料清洗、加工、統計等各種使用場景。
4. 異常處理及自恢復
對系統核心元件實時多角度監控,一旦發生故障,自動進行諸如:網路重連、程式重啟、系統恢復等操作,以保證系統穩定執行,降低整體系統維護工作量。
5. 記憶體流式處理技術
採用記憶體流式處理技術,以應對源端大資料量及複雜資料轉換場景,透過流水線式的處理機制,將處理流程整體處理時間壓縮到與單個元件的處理時間上,實現資料實時同步秒級延時。
6. 簡潔易用
圖形化抽取流程設計,內建大量視覺化圖形轉換元件,使用者無需進行任何指令碼語言編寫,透過拖拽方式即可實現資料整合的快速開發和部署。
適用場景 :資料歸集、資料同步、資料實時採集、異構資料來源同步、資料上雲、資料迴流等。
三、應用成效
美創資料支撐平臺在實踐檢驗中交出了一張優異的成績單,穩定性、可管理性、擴充性、靈活性均得到使用者認可,成功賦能使用者資料治理工作。
在 醫保局—醫療保障基金綜合監管系統建設中,美創資料支撐平臺完成對醫保參保庫、資源庫、結算庫,稽核庫、異地就醫等各類業務資料庫的歷史全量資料抽取及增量資料實時採集工作,為醫療保障資料大腦和醫療保障基金綜合分析提供穩定、精準、實時的資料保障。
部分建設成果展示
此外,在衛健委、港口、人社等行業中,資料支撐平臺依靠先進的底層架構設計,無侵入、可續傳、實時完整的資料採集能力,完成各類業務系統的資料採集以及挖掘,在時效性方面達到秒級同步,有效為各項資料業務創新提供能力支撐。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69973247/viewspace-2762159/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 重磅釋出|美創科技新一代 資料安全管理平臺(DSM Cloud)全新升級Cloud
- 美創科技資料資產管理平臺升級釋出,推動數字化轉型
- 騰訊雲釋出全新金融業務支撐平臺,TDSQL分散式資料庫是最大亮點之一SQL分散式資料庫
- 美創資料治理賦能 築起醫保基金監管防護網
- 美創科技榮升國家資訊保安漏洞庫(CNNVD)二級技術支撐單位CNN
- 大資料治理——搭建大資料探索平臺大資料
- 華雲資料"信創+"生態釋出 :賦能信創生態,成就信創夥伴
- 美創科技聯合釋出《中小銀行資料安全治理研究報告》
- 人工智慧融合賦能平臺,賦能智慧城市智慧化升級人工智慧
- 如何做好資料治理平臺
- 浪潮助力手機大資料平臺升級大資料
- 資料治理三大模式詳解,治理新正規化釋放資料潛能模式
- 【2023雲棲】大模型驅動DataWorks資料開發治理平臺智慧化升級大模型
- 大資料治理:支撐新一代AI應用落地的基石大資料AI
- 美創助力台州市大資料局“公共資料平臺”資料安全建設大資料
- 山石網科資料安全綜合治理體系正式釋出,構建資料安全新理念
- 三大支撐 夯實基礎丨大資料助推株洲產業轉型升級大資料產業
- 銀行資料安全治理案例(一)——美創科技
- DBAPI 資料介面釋出平臺功能介紹API
- 資料治理管理平臺有哪些特點
- 大資料治理平臺有哪些價值大資料
- 核心升級,資料先行 —— SNP中國賦能企業破解資訊化升級轉型後顧之憂
- 資料治理2 美團
- Smartbi:資料治理系列之後設資料管理平臺的原理
- MSE 治理中心重磅升級-流量治理、資料庫治理、同 AZ 優先資料庫
- 美創科技深度參編,中國信通院《資料安全治理實踐指南(2.0)》釋出
- 釐清企業資料治理難題,《網易資料治理白皮書》重磅釋出!
- 美團酒旅起源資料治理平臺的建設與實踐
- 資料治理下半場:需求升級與格局突變
- 資料治理與資料分類分級!
- 2022,大資料Kafka全新學習路線升級大資料Kafka
- 資料治理管理平臺功能模組與特性
- 資料二十條新政釋出促進資料賦能建築企業數字化轉型
- 雲資料庫PostgreSQL版重磅升級開年釋出會資料庫SQL
- CHITEC 2020|美創醫療資料安全、資料治理新看點,先睹為快
- 超融合支撐保險客戶構建生產級資料庫資源池資料庫
- 全新架構 全速發展 美創科技新一代資料安全架構正式釋出架構
- 博睿資料受邀出席GOPS 2023 深圳站:自適應AI支撐可觀測性全面升級GoAI