DataPipeline CPO 陳雷:實時資料融合之法,便捷可管理
在確保了實時資料融合的穩定性之後,企業開始關注資料管理能否滿足數字化轉型和多速IT的敏捷要求。實時資料融合產品的敏捷性、便捷性成為一個重點考量要素。
配置便捷
傳統資料處理過程的構建,往往是以月為單位交付的,例如構建一個資料倉儲或一個大資料平臺,我們經常聽到的建議是建設週期不要超過半年,即使是資料倉儲構建完成之後,由於需要進行大量的程式碼開發,新的業務分析需求或者資料需求的交付週期也是以周為單位計算的,這很難滿足業務應對市場競爭的需要,更不用說面對紛繁複雜的市場環境和競爭格局,業務形態是在不斷調整變化的,這也對後端的資料支撐提出了更高的要求,資料資源作為戰略資源必須在合適的時間出現在合適的地點,實時資料更是如此。
而眾所周知,資料處理交付週期長的根本原因是處理過程中要面對從異構語義、對映關係到執行方式、運維方式等大量問題,這就要求實時資料融合能夠在提供配置式鏈路定義,無程式碼任務構建的基礎上,能夠將各類涉及到執行穩定,運維管理的設定也配置化、自動化,從而幫助使用者將實時資料融合從原有的研發模式轉變為系統配置管理模式。
部署便捷
CPU、記憶體、儲存、網路、作業系統、補丁、編譯器、使用者組,許可權、安裝、節點註冊、負載再平衡,系統部署一直以來都不是一件讓人心情愉悅的事情,這還是你做好了資源規劃能夠拿到系統資源的前提下,雖然近年來隨著雲端計算技術被普遍接受,系統資源的申請、部署已經不成問題。但現在大部分的資料處理系統的部署擴充套件方式都不是很友好,也許就像程式碼才能體現程式設計師的價值一樣,命令列才能體現運維工程師的專業性,而實時資料流量的不確定性與業務部門對實時資料利用的快捷交付要求都需要能夠靈活便捷的進行部署與擴充套件,因此就要求實時資料融合透過高效便捷的容器化部署、高度自動化的系統資源發現、註冊、負載平衡機制和高度配置化的系統資源分組管理模式滿足使用者對部署的便捷可管理需求。
分層管理
在今天的市場環境與技術發展的共同作用下,資料管理不僅僅需要可靠與可控性,同時為了應對移動網際網路帶來的客戶行為和市場需求的改變,必須能夠滿足數字化轉型和多速IT的敏捷要求,但作為業務資訊化數字化的底層基礎平臺,資料節點的安全性、穩定性、業務連續性是不容有失的,資料本身的一致性、準確性、完整性也是業務創新的前提條件,更不用說對整個系統的監控、日誌、預警等基礎運維工作需要遵循企業整體的資訊化管理機制,因此,如何在有效地滿足資料系統管理需求的前提下,提升資料獲取在各個環節的配合效率就顯得至關重要。
實時資料融合作為敏捷性要求最高、覆蓋業務系統資料來源最廣的系統就需要對資料節點註冊、資料鏈路配置、資料任務構建、系統資源分配等各個環節能夠分層次、分租戶、分使用者進行解耦。
按需服務
當前的企業環境中,再去區分資料的所有者、使用者已經沒有意義,隨著企業級的資料倉儲、大資料平臺、主資料管理系統、資料管控系統的逐步建成,獲取企業級的資料已經不是十分困難。而隨著雲端計算的不斷深入,系統資源的獲取也已經隨需應變,而對於實時資料來說,由於敏捷性要求較高,流量變化頻繁,就更需要能夠做到按需服務,在分層管理的基礎上,在保障資料資源可控的前提下,為資料應用提供更多的自主性也是體現實時資料處理便捷可管理的一個重要方面。
實時資料處理應當將資料獲取的範圍、資料任務的生命週期、系統資源投入的多寡等許可權更多的交給實際使用資料的業務部門或應用開發人員。
——無程式碼配置式鏈路定義,任務也交給下游部門自己跑了,我可以去看看我的排位了。
——事物都是在發展變化的,所以實時資料融合也需要能應對不斷的進化,所以你再往下看。
在下一期的“ 實時資料融合之法,開放可擴充套件”中,我們將從資料節點開放性、語義特性開放性、清洗方式可擴充套件、配置功能可擴充套件四個方面展開討論,請大家持續關注!
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31556703/viewspace-2732960/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- DataPipeline 合夥人 & CPO 陳雷:企業實時資料管理問題與實踐 | 附PPT下載API
- 實時資料融合之法,穩定高容錯
- DataPipeline的資料融合之道API
- IT168專訪|DataPipeline 合夥人&CPO陳雷:我們致力於成為中國的世界級資料中介軟體廠商API
- 巨集昆酒店集團攜手DataPipeline打造實時資料融合平臺,酒店業精益管理的新祕訣API
- DataPipeline實時資料融合產品入駐青雲雲市場,催化企業資料價值釋放API
- 攜手世界環境服務巨頭!DataPipeline助力其亞洲區業務資料實時融合API
- 吉利集團攜手DataPipeline兩週年,讓實時資料管理平臺“厚”起來API
- 實時資料管理實戰派!DataPipeline亮相“FCS 2021中國證券、基金和資管CIO峰會”API
- DataPipeline在大資料平臺的資料流實踐API大資料
- 打造實時資料整合平臺——DataPipeline基於Kafka Connect的應用實踐APIKafka
- 實時資料融合之道:博觀約取,價值驅動
- 2020年淨利暴漲1288%,遨森電商攜手DataPipeline構建實時資料融合體系跑出加速度!API
- DataPipeline丨構建實時資料整合平臺時,在技術選型上的考量點API
- 最新2.7版本丨DataPipeline資料融合產品最新版本釋出API
- 亞信安慧AntDB 資料庫:超融合資料庫引領實時計算新時代資料庫
- DBeaver Ultimate for Mac/win:高效便捷的資料庫管理工具Mac資料庫
- 資料庫準實時資料同步平臺成為新引擎,山西證券攜手DataPipeline跑出加速度資料庫API
- 民生銀行:入選國家級數字化轉型百佳案例!DataPipeline助力構建實時資料管理體系API
- 資料融合重磅功能丨一對多實時分發、批次讀取模式模式
- 資料庫的許可權管理資料庫
- DataPipeline與海量資料完成產品互認證,助推資料管理信創生態新程式API
- SpringSecurity許可權管理系統實戰—九、資料許可權的配置SpringGse
- 英美啟用《資料訪問協議》,將可便捷呼叫彼此網際網路使用者資料協議
- 資料採集與融合實踐作業三
- 資料庫學習:許可權管理資料庫
- 雲開發資料庫的核心能力與實踐:許可權管理、索引管理……資料庫索引
- 管理不同時區的資料
- EBS 臨時資料夾許可權
- 實時資料庫與時序資料庫資料庫
- DataPipeline與TiDB推出異構資料實時同步解決方案,共築安全可信基礎設施APITiDB
- 攜程實時計算平臺架構與實踐丨DataPipeline架構API
- 乾貨!DataPipeline2021資料管理與創新大會全篇劃重點API
- MySQL資料庫許可權體系入門(5)---管理資料庫許可權MySql資料庫
- SAP BO: 資料夾的許可權管理
- ylbtech-許可權管理-資料庫設計-功能許可權管理技術資料庫
- DataPipeline CTO陳肅:構建批流一體資料融合平臺的一致性語義保證API
- Android 6.0 執行時許可權管理最佳實踐Android