從CDP解析資料備份和副本管理技術
資料資產是企業生存的根本,企業對資料資產保護的訴求推動資料保護技術的一次次變革,從原始的手工資料副本拷貝,例行指令碼、系統工具(如RMAN)、備份軟體、快照,再到持續資料保護、資料副本管理(CDM)。
備份軟體、快照等技術是目前應用最廣泛、最成熟的技術,有大量成熟產品。前期我在微信上零散的做過全面的技術分享,並細化彙總成<資料備份和副本管理技術全面解析>,領域涉及的小夥伴可點選原文連結檢視詳情。
個人認為: 持續資料保護(CDP)、CDM技術將真正有能力在雲端計算海量資料時代承擔更多核心資料資產保護任務,本文詳細分析下CDP技術(CDM將在後續進行分享)。
持續資料保護(Continuous Data Protection)技術是對傳統資料保護技術的一個重大突破。系統管理者無須關注資料的備份過程,而是僅僅當災難發生後,簡單地選擇需要恢復到的資料備份時間點即可實現資料的快速恢復。
災難恢復的物件主要有兩個,其一是應用的業務資料,其二是應用的執行狀態。通常的災難恢復技術包括資料的備份、複製、應用的遠端叢集等。現在,一種新的災難恢復技術――持續資料保護是災難恢復的新選擇。
SNIA對CDP的定義是: 持續資料保護是一套方法,它可以捕獲或跟蹤資料的變化,並將其在生產資料之外獨立存放,以確保資料可以恢復到過去的任意時間點。持續資料保護系統可以基於塊、檔案或應用實現,可以為恢復物件提供足夠細的恢復粒度,實現幾乎無限多的恢復時間點。
傳統的資料保護解決方案專注在對資料的週期性備份上,因此一直伴隨有備份視窗、資料一致性以及對生產系統的影響等問題。
然而,CDP為使用者提供了新的資料保護手段,系統管理者無須關注資料的備份過程(因為CDP系統會不斷監測關鍵資料的變化,從而不斷地自動實現資料的保護),而是僅僅當災難發生後,簡單地選擇需要恢復到的資料備份時間點即可實現資料的快速恢復。
持續資料保護和傳統的災難恢復技術相比,持續資料保護具有如下明顯的特點。
1、首先可以大大提高資料恢復時間點目標(RPO)。備份技術實現的資料保護間隔一般為24小時(每天備份一次),因此使用者會面臨資料丟失多達24小時的風險,採用快照技術,可以將資料的丟失風險降低到幾個小時之內,而CDP能夠實現的資料丟失量可以降低到幾秒(當然,不同的CDP產品和解決方案提供的時間精度也不盡相同)。
實際上,在傳統資料保護技術中採用的是對“單時間點(Single Point-In-Time)”的資料拷貝進行管理的模式,而持續資料保護可以實現對“任意時間點(Any Point-In-Time)”的資料保護。
2、雖然複製技術可以通過與生產資料的同步獲得資料的最新狀態,但其無法規避由人為的邏輯錯誤或病毒攻擊所造成的資料丟失。當生產資料由於以上原因導致資料遭到破壞時(例如資料被誤刪除),複製技術會將遭到破壞的資料狀態同步到後備資料儲存系統,使後備資料也受到破壞。CDP系統可以使資料狀態恢復到資料遭到破壞之前的任意一個時間點,也就可以消除前者具有的風險。
3、由於恢復時間和恢復物件的粒度更細,所以持續資料保護的資料恢復也更加靈活。目前的部分產品和解決方案允許終端使用者(而不僅僅是系統管理員)直接對資料進行恢復操作,這在很大程度上方便了使用者。
持續資料保護實現的關鍵技術是對資料變化的記錄和儲存,以便實現任意時間點的快速恢復。一般來講,有三種實現方式。
1、基準參考資料模式,建立參考資料拷貝,根據生產資料變化記錄資料差異日誌,根據日誌差異按需恢復資料。基準參考資料模式原理簡單,實現起來比較容易,但由於資料恢復時需要從最原始的參考資料開始,逐步進行資料恢復,因此恢復時間比較長,尤其是恢復時間點越靠近當前的時間,恢復所需要的時間就越長。
2、複製參考資料模式,生產資料和參考資料副本事實同步,在同步的同時記錄回退日誌或事件,基於回退日誌差異實現資料按需恢復。複製參考資料模式和基準參考資料模式在實現原理上恰好相反。複製參考資料模式在資料恢復時,恢復的時間點越靠近當前,所需要的恢復時間越短。但在資料的儲存過程中,需要同時進行資料和日誌記錄的同步,需要較多的系統資源。
3、合成參考資料模式,合成參考資料模式是以上兩種模式的折衷,較好地實現了以上兩種模式的妥協,因此可以得到較好的資源佔用和恢復時間效果。但需要複雜的軟體管理和資料處理功能,實現起來比較複雜。
持續資料保護技術或解決方案的實現有多種模式。不同的廠商建立了不同的持續資料保護模型,參考SNIA的儲存共享模型, 可以將實現持續資料保護的產品或解決方案分為基於應用、基於檔案和基於資料塊的持續資料保護。
1、基於應用實現持續資料保護
對需要保護的關鍵應用程式,可以在其中直接嵌入和執行CDP功能。這種實現CDP的方式首先能夠和應用進行深度整合,確保應用資料在持續保護中的一致性。CDP功能可以由軟體廠商將其直接嵌入在軟體產品中,也可以是軟體廠商提供API介面,由第三方軟體開發商來開發完成。基於應用的CDP最大好處是與應用程式結合緊密,管理也比較靈活,易於使用者部署和實施。
目前基於應用程式的CDP解決方案大部分是針對成熟的應用開發的。如支援微軟公司的Office、Exchange、IBM的DB2,以及Oracle資料庫等。
2、基於檔案實現持續資料保護
基於檔案的CDP,其功能作用在檔案系統上。它可以捕捉檔案系統資料或者後設資料的變化事件(例如建立、修改、刪除等),並及時將檔案的變動進行記錄,以便將來實現任意時間點的檔案恢復。
IBM公司的VitalFile、Storactive公司的Live Backup for Desktop、TimeSpring公司的TimeData等產品,都能提供基於檔案的CDP功能。VSS是微軟公司基於Windows作業系統的一項CDP功能實現模組,VSS提供了實現CDP(儘管其備份時間粒度比較大)的API,第三方軟體可以在其基礎上進行開發,目前基於VSS的產品有微軟的DPM和Symantec的Backup Exec 10D等。
3、基於資料塊實現持續資料保護
基於塊的CDP功能直接執行在物理的儲存裝置或邏輯的卷管理器上,甚至也可以執行在資料傳輸層上。當資料塊寫入生產資料的儲存裝置時,CDP系統可以捕獲資料的拷貝並將其存放在另外一個儲存裝置中。
基於資料塊的資料保護又有基於主機層、基於傳輸層和基於儲存層三類實現方式。一般來講,基於塊的持續資料保護除在主機層實現以外,相關的產品和技術比較複雜,實施成本也相應地比較高,因此適合於有持續資料保護需求的大中型企業。
由於CDP技術、CDM技術在資料保護和災難恢復中具有的特點和優勢,越來越多的使用者會將目光投放在這一災難恢復的新技術上。相信隨著時間的推移和技術成熟,除了EMC iCDM、Cohesity和鼎甲InfoSemper等產品外,會有越來越多的CDM解決方案和產品出現,在實現持續資料保護的需求上,使用者將會有越來越多的選擇。
關於CDP技術的文章分享先告一段落,後續再找時間分析CDM。下面是電子書<資料備份和副本管理技術全面解析>主要內容。
心血之作,必屬精品。領域涉及或感興趣的小夥伴可點選原文連結檢視<資料備份和副本管理技術全面解析>詳情。需要再次說明的是:電子書內容絕大部分來自本號歷史原創文章整理,讀者可以查閱歷史文章零散免費閱讀。
相關閱讀
溫馨提示:
請搜尋“ICT_Architect”或“掃一掃”二維碼關注公眾號,點選原文連結獲取更多技術資料。
求知若渴, 虛心若愚—Stay hungry, Stay foolish
相關文章
- 資料庫備份與恢復技術資料庫
- Veritas Velocity資料副本管理技術、原理詳解(附報告)
- 七、許可權管理和資料庫備份資料庫
- SQL資料庫備份管理SQL資料庫
- 資料同步和資料備份
- TDSQL資料同步和備份SQL
- 四、備份容災技術
- 資料標準和資料質量:技術解析與典型案例
- Mysql資料備份和還原MySql
- 雲備份和同步檔案資料
- gitlab的資料備份和恢復Gitlab
- 「MySQL」資料庫備份和還原MySql資料庫
- Mysql許可權管理以及sql資料備份MySql
- 初探MySQL資料備份及備份原理MySql
- MySQL資料備份MySql
- 資料庫備份資料庫
- Rsync 資料備份
- 備份onetab資料
- mongo資料備份Go
- 資料產品:CDP(客戶資料平臺)必備的產品能力
- Mongo 資料庫備份和恢復命令Go資料庫
- PostgreSql資料庫的備份和恢復SQL資料庫
- Mysql備份和還原資料庫-mysqldumpMySql資料庫
- CDP客戶資料管理平臺體系化搭建
- oracle資料庫備份之exp增量備份Oracle資料庫
- 聊聊技術管理(一)入行之技術管理和技術專家
- 墨天輪最受DBA歡迎的資料庫技術文件-容災備份篇資料庫
- 產品資料管理(PDM)技術概述
- 使用Mysqldump備份和恢復MySQL資料庫MySql資料庫
- java mysql 資料庫備份和還原操作JavaMySql資料庫
- mysql 資料庫 備份MySql資料庫
- Mysql資料安全備份MySql
- 資料庫備份策略資料庫
- MongoDB資料庫備份MongoDB資料庫
- MySQL日誌管理,備份和恢復MySql
- MySQL之許可權管理和備份MySql
- Dedecms備份的資料檔案位置及備份資料庫的方法資料庫
- 華為CloudNative分散式資料庫技術解析Cloud分散式資料庫