上百億藍海市場,CDM有何“資料魔法”?
如同高跟鞋之於女人,格子衫之於程式設計師,奧特曼之於小男孩…總有一股說不清,道不明的因子,讓他們如同被施附了魔法一般,甘願沉浸其中。今天,CDM之於企業ITer,也正在徐徐呈現屬於它的獨一無二的“資料魔法”。
早在2017年Taneja Group的一項研究就表明,超過30%的公司正在考慮或實施CDM(Copy Data Management,資料副本管理)產品。在國內,金融和運營商行業的多家頭部使用者也在近兩年相繼完成了CDM產品的部署和應用… 隨著數字化轉型進入深水區,資料成為企業最關鍵的生產資料,CDM“何許人也”,又究竟有何魔力,贏得了諸多企業的青睞?CDM技術“朋友圈”目前聚集了哪些“小夥伴”,這項技術未來又將保持怎樣的演進……
一個數百億美元的藍海市場
統計顯示,平均每個企業要為應用開發、QA、使用者驗收、產品支援、報告和備份等,從生產資料來源建立8-10份資料副本。因此,以一個5TB的生產資料庫為例,往往要為下游建立出40-50TB的資料副本。一家500強企業甚至擁有超過上千個生產資料庫,資料副本達到PB級規模。
大量的資料副本存在不可避免地造成了一定程度的資源浪費以及維護開銷的增長,有資料表明,企業80%的儲存能力都被次級資料所使用。
援引自IDC的資料也顯示,目前每年在Copy Data上的開銷達到460億美元,企業內的資料副本消耗了60%的儲存空間,並且65%的儲存軟體和85%儲存採購由此產生。
不僅如此,在傳統的生產協作流程中,當開發和測試人員想要獲取必須的資料副本時,往往需要從提交申請,到完全準備好環境,耗時幾天甚至以月為單位(資料交付時間視資料規模,環境準備情況等而定)。
這樣的資料管理實踐並非最佳,不僅大量浪費了儲存資源,而且還帶來了資料合規和敏捷性等方面的問題,影響了使用者應用程式的快速迭代,這對於今天追求敏捷轉型和DevOps轉型的企業而言難以接受。
為了幫助企業統一管理海量的非關鍵性資料,尤其是冗餘的資料副本,業界採用了CDM技術。什麼是CDM?它的主要應用場景又是什麼?Gartner對此提出:它從生產環境透過快照技術獲取有應用一致性保證的資料,在非生產儲存上生成“黃金副本”(Golden Image),這個“黃金副本”資料格式是原始的磁碟格式,可再虛擬化成多個副本直接掛載給伺服器,分別用於備份恢復、容災或開發測試。
Gartner《Hype Cycle for Storage and Data Protection Technologies, 2020》報告指出,CDM技術已經度過了了早期的技術炒作期,目前處於“泡沫化的低谷期”(trough of disillusionment),這從側面說明一些客戶開始在非關鍵性業務場景集中部署這項技術,而且Gartner也預測CDM技術將在未來5-10年內進入“實質生產的高峰期”(plateau of productivity)。
聚焦到CDM技術實現的業務價值,主要體現在以下幾個方面:
第一,降低儲存成本。利用資料虛擬化技術,單個資料副本即可滿足開發、測試、備份、恢復、資料脫敏、統計分析等多種工作負載需求,同時利用高效的資料壓縮技術,進一步節省了儲存空間,減少企業不必要的儲存開支(以下圖上訊資訊ADM產品資料複製方式為例)。
第二,縮短資料交付週期。資料準備從原來的按天或者月為單位,縮短到分鐘級,資料分發達到秒級。基於CDM技術的資料副本的交付與管理,大大節省了資料交付的時間,為企業構建了更加敏捷的資料管理基礎架構,加速了企業的DevOps建設,縮短了業務的開發測試周期,實現了產品的快速迭代。
第三,降低人力時間投入。傳統方式下,資料的匯入和匯出無法自動完成,面對開發和測試人員的需求,需要透過人為的傳遞才能完成資料從生產環境到測試環境的遷移,而且這個過程中還可能需要持續的獲取增量資料資源。CDM技術實現了全流程的自動化配置和編排,從審批到資料的匯入和匯出,這個過程只需要在統一的管理介面上滑鼠點選操作,幾步即可自動完成,極大減輕了儲存管理員和DBA的工作負荷,降低人力時間投入。
第四,提升資料集中管控能力。過去,資料移交到使用部門之後,管控權利完全在使用部門,只能用流程來控制資料的用後銷燬,存在較高的安全管控風險。CDM融合了資料動態和靜態脫敏,許可權管控,合規審計等多種資料保護策略,以集中的資料管控,防範敏感資料洩露,杜絕不當或者誤操作,以及保留事後的可追溯。交付使用的資料,可以透過CDM管控平臺實現資料的統一集中管控,杜絕測試資料出現資料孤島,在資料使用完之後,可以實現資料的快速回收以釋放佔用資源,杜絕暗資料的出現。
備份和CDM,孰是孰非
在國內,備份和CDM容易被混淆,有不少備份廠商在其備份產品上透過增加一些CDM功能,作為備份的補充,比如用作快速拉起恢復或者備份校驗,也許從使用者肉眼可見的角度看,功能上都歸整到了統一的介面上,但實際上二者的後臺邏輯相差甚遠。
備份從根本上是作為資料的保底存在,一旦發生物理或邏輯故障,為使用者提供了災難恢復的手段。而CDM側重於對資料的生命週期管理,是牽涉到使用者資料獲取,資料儲存,資料使用的全流程的生產力工具。
傳統備份技術是將資料恢復後交付使用,恢復的過程很長,而CDM儲存的是原始格式資料,可以直接交付使用。
從功能上看,備份更多是作為CDM其中的一項資料獲取手段。CDM副本資料管理基於資料虛擬化等核心技術,自動化實現了從資料獲取到資料使用再到資料歸檔,資料銷燬的全生命週期管理。其中,在資料獲取環節既可以透過使用者既有備份系統內獲取資料,也可以透過從生產環境實時獲取資料,又或者使用者以指令碼的方式自助上傳資料等多種方式。相比備份,CDM更加關心的是資料的交付使用與管理。
全球生態,風景這邊獨好
過去的十多年時間,CDM的主要玩家分佈在北美。在國內,從上訊資訊2016年釋出了國內第一款真正意義上的CDM產品開始,近兩年CDM技術在金融和運營商這兩個行業的蓬勃發展,推動了開發測試場景的資料架構轉型,並且大有替代傳統備份之勢。
1、Actifio
Actifio成立於2009年。2020年,谷歌宣佈收購Actifio,收購完成後,Actifio會併入Google Cloud。
Actifio的多雲複製資料管理(Copy Data Management)軟體平臺虛擬化複製資料,允許以原生格式對資料的虛擬副本進行完整的生命週期管理。透過一套豐富的API,Actifio的軟體可以無縫地整合到任何IT服務管理工具、DevOps工具鏈或定製的指令碼和應用程式中。
2、Cohesity
Cohesity成立於2013年,公司CEO兼聯合創始人Mohit Aron,之前還聯合創立過Nutanix,目前該公司最新的市場估值達到37億美元。
對於Cohesity公司來說,線上備份只是其完整資料管理平臺的一部分,該平臺專注於解決大規模資料碎片所造成的問題。它側重於幫助企業保護和管理位於許多不同位置的二級資料。
3、Rubrik
Rubrik也是由前Nutanix的人員發起創立,提供跨越本地、雲端和混合雲環境中的企業資料管理和備份服務。
全球有2500多家企業和政府使用Rubrik公司的Cloud Data Management解決方案來管理和協調跨資料中心和雲的資料。其提供一個單一的資料平臺,可以跨資料中心和雲安全地提供備份,恢復,分析和合規性。承諾快速恢復,提供接近0的RTO。另外還提供SLA自動化和API優先的架構。
4、Delphix
Delphix成立於2008年。Delphix提供了一個API優先的資料平臺,該平臺跨越多雲並支援從雲原生主機到舊式大型機的所有應用程式。Delphix可自動執行一系列關鍵的複雜資料操作,包括遵守GDPR和CCPA等隱私法規。
Delphix聲稱藉助其平臺,可將資料佔用空間減少10倍,將資源調配速度提高100倍。藉助Delphix虛擬化,使用者可在幾分鐘內大規模配置輕量級虛擬資料庫副本,大規模地將資料從生產環境複製到非生產環境,以及使用重新整理,回滾和快照功能管理虛擬資料庫等操作。
5、Catalogic
Catalogic 2013年成立,總部位於美國新澤西州。ECX是該公司提供的CDM軟體產品,大大簡化了副本資料管理,實現了資料副本的自動化和編排,可以在整個企業和雲中利用該副本進行各種創造價值的用例。藉助Catalogic ECX,將開發/測試基礎架構管理時間減少了多達99%。
ECX還可以幫助使用者將資料移動到雲中,利用雲中成本更低,更具彈性的計算基礎架構,藉助ECX,在某些用例中利用雲時,使用者的投資回報率超過300%。
6、上訊資訊
上訊資訊2010年成立,2016年率先發布了國內首款CDM產品—敏捷資料管理平臺(ADM),這是一款集資料驗證恢復、資料虛擬化、資料脫敏和資料庫審計為一體的資料全生命週期管理產品。透過一個平臺,解決資料獲取,資料儲存,資料構建,資料使用,資料歸檔,資料銷燬的所有資料問題。
ADM核心技術-資料虛擬化技術,可以透過一份資料的“黃金副本”快速建立出多份資料副本交付使用,所交付的資料都是可讀可寫的,並且可以達到分鐘級的資料交付效率,以及實現10倍以上的儲存成本節省。目前,ADM獲得了金融和運營商行業多家頭部客戶的使用和持續復購。
CDM:我的未來不是夢
對每一家致力於資料驅動的企業和組織而言,CDM技術無疑重塑了其過去臃腫的資料架構和繁冗的資料管理流程,以敏捷的資料架構就緒企業數字化轉型,加速業務交付,提高企業的決策效率以及生產力水平。
但這並不是CDM的全部,這項令人著迷不已的技術未來又將擁有怎樣的蛻變?做一些預測:
第一,跨越本地資料中心,邊緣和多公有云的資料流動和儲存。CDM需要滿足混合多雲時代使用者對資料在不同端的流動和統一管理的需求,支援不同位置的基礎環境,例如可利用公有云更加經濟、彈性的儲存資源,進一步降低OPEX。而無論是部署於邊緣,本地還是多公有云,都需要滿足一致性和可用服務體驗。
第二,以資料為中心,打通資料上中下游鏈條,實現資料的全生命週期管理。從產品的角度,可以基於靈活的license授權,為使用者按需交付備份容災,備份校驗,資料虛擬化,資料脫敏,合規審計等不同功能,而從後臺邏輯來看,支援一個統一的資料平臺,能夠無縫連通資料的全生命週期統一管理。
第三,CDM技術與垂直應用場景的緊耦合,強關聯。例如,開發測試場景下,能否基於一套資料平臺,跑通所有的開發測試作業,而無需額外使用第三方平臺,例如測試版本控制,以降低額外的資源消費,提高開發測試效率。
相信隨著技術的不斷完善以及生態的成熟,CDM,未來可期!
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69965091/viewspace-2768615/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 真人互動遊戲為何突然大爆?它贏得全新的藍海市場遊戲
- 探究藍海市場—First part:互動遊戲遊戲
- CDM修改資料型別的方法資料型別
- 企業雲盤如何為金融行業開拓藍海市場行業
- 京東金融將釋出重量級技術與資料產品 招募合作伙伴共拓藍海市場
- 行業深度 | 物聯網藍海市場 技術驅動產業發展行業產業
- 雲資料遷移(Cloud Data Migration,CDM)Cloud
- 臻和科技瞄準MRD檢測藍海市場,做MRD賽道先行者
- 大資料有何特點?_光點科技大資料
- 智慧園區成安防領域藍海市場, 依圖推出軟硬體解決方案
- 百億級資料處理優化優化
- 藍寶石時鐘與原子鐘有何區別
- 2020中國桌遊產業現狀:百億市場的背後仍是藍海產業
- Hadoop大資料平臺有何優勢?Hadoop大資料
- Meta因資料洩漏被罰1700萬歐元 資料安全合規將催生百億美元市場
- 你還在為創業專案而苦惱?藏“金”萬億的藍海市場就在你面前!創業
- 資料檔案的SCN和資料塊的SCN有何區別
- PowerDesigner中CDM和PDM資料型別的mapping資料型別APP
- setup中為何資料庫連線不上那資料庫
- JiveJdon3.0 為何連不上MySQL 資料庫?MySql資料庫
- 工業資料採集方案有何功能特點
- CDM(Conceptual Data Model,概念資料模型)和 PDM(Physical Data Model,物理資料模型)模型
- 【智慧製造】下一個千億藍海市場,智慧包裝產業發展回顧及應用展望產業
- cassandra百億級資料庫遷移實踐資料庫
- 對於“大資料殺熟”,為何“寧可信其有”?大資料
- 百億資料量下,掌握這些Redis技巧你就能Hold全場Redis
- 區塊鏈代表的資料庫和傳統資料庫有何區別區塊鏈資料庫
- 揭祕 YYModel 的魔法(上)
- 貴陽大資料產業產值過百億元大資料產業
- 大資料解讀上海市民閱讀習慣大資料
- 資料中臺與資料治理將何去何從?
- 在資料科學方面,python和R有何區別?資料科學Python
- 資料結構與演算法之間有何關係?資料結構演算法
- 圖資料庫有哪些應用場景?資料庫
- 上海市新聞出版局:2013年上海市民閱讀狀況調查資料
- static關鍵字有何魔法?竟讓Spring Boot搞出那麼多靜態內部類Spring Boot
- 資料庫上雲教程(體驗有禮)資料庫
- 百億美元的AI晶片市場誰是王者?AI晶片