哪些資料備份場景是信創趨勢下的關注重點?

danny_2018發表於2024-01-16

【摘要】資料是企業的核心資產,資料備份可以有效應對系統執行過程中的存在的資料損失風險,是保障業務連續性的基石。對於關係型資料庫備份、檔案備份、虛機備份等傳統備份場景,現有的備份技術和解決方案已經相當成熟和普及。隨著IT基礎設施國產化程式的大力推進,同時伴隨著近些年來,雲原生、分散式資料庫等分散式技術的蓬勃發展,我們需要重新審視已有的備份技術和體系,辨別新形勢下新的備份場景,同時需要為這些新的備份場景尋找合適的備份解決方案。

【作者】康建國,某省農信資深系統工程師,主要負責Power小型機、儲存、資料庫等方面的運維及管理工作,對儲存雙活、資料庫高可用等方面有著深入的見解。

在談資料備份之前,首先需要明確一下備份和容災的區別,因為我們討論備份場景的時候一些同行會發出這樣的困惑:我們這個資料平臺底層是多副本設計,為啥還要做備份?我們這個資料庫透過資料複製實現了同城容災,為啥本地還要做備份?

資料多副本這樣的高可用設計以及容災架構的設計是為了應對軟硬體故障、或者火災地震等意外發生時,整個應用系統可以正常執行或者切換到另一處後系統功能可以繼續正常工作。資料備份則是為了抵禦各類計劃外故障、資料誤刪、惡意攻擊等異常場景下的資料丟失。僅有高可用容災設計,無法避免資料誤刪和惡意攻擊等意外,而僅有資料備份又無法在災難發生時快速恢復業務系統。因此,備份和容災和備份有著明顯的區別,同時又緊密結合、缺一不可,IT運維人員千萬不可有重容災輕備份的偏見思維。

資料備份理論範疇很廣,通常包括備份場景、備份策略、備份介質、備份架構等多個維度。

一、傳統備份場景

首先我們梳理彙總一下我們金融行業長久以來需要備份的幾個主要場景,包括關係型資料庫備份、檔案備份、大資料平臺備份、虛擬化環境備份等。

1.關係型資料庫備份

以DB2、ORACLE為代表的關係型資料庫的備份是所有資料備份場景裡面佔比最高的場景,經過幾十年的發展,這個場景的備份各行業各企業都已經做得很成熟了。

2.檔案備份

重要資料檔案的備份也是傳統備份裡面一個常見的場景,包括以檔案形式儲存的重要業務資料、系統配置檔案、系統日誌等等。檔案備份的手段很多,當數量不大時用複製、打包等方式備份到第二儲存介質了即可。當海量檔案需要備份時,在備份和恢復速度方面就會有很大挑戰。這種場景下需要使用基於rsync命令的高併發備份工具去備份海量檔案,當然也可以考慮用CDP技術對儲存檔案的硬碟進行快照,需要恢復的時候直接掛載起來使用即可。

3.大資料平臺備份

大資料平臺裡面的資料有幾個特點,第一,資料量巨大;第二,資料結構型別複雜多樣,有結構化、非結構化、半結構化;第三,資料功能分多個層次,包括基礎資料、初步架構資料、深度加工資料、分析結果資料等等;第四,資料來源很廣,有內部各應用下沉的基礎資料,有外部引入的基礎資料。因此,很難有一個完美的備份平臺來完成對大資料平臺內所有資料的備份恢復工作。

筆者認為對於大資料平臺的資料備份,需要對資料進行分級分類設計。例如:如果基礎資料是可以隨時從源頭呼叫,而源頭又有完善的備份機制,那麼基礎資料是否就可以沒必要備份了。而經過複雜加工之後的資料單獨切分出來進行備份。保障接近應用上層的若干連續分級資料的備份即可。在分級分類的時候,需要考慮到資料量級、資料再生條件、資料重要性、資料加工的複雜度和耗時等等因素,保留中間層可以為分析模型提供直接分析支援的資料即可。

4.虛擬化環境備份

虛擬化環境備份主要是VMware和雲平臺中虛機的備份,這一塊可以依賴虛擬化平臺自身的備份功能,也可以藉助CDM/CDP等技術手段進行備份。隨著雲端計算技術的不斷成熟,依賴雲平臺自身運維功能進行雲主機、雲硬碟的備份手段已經很成熟了。

二、信創趨勢下的備份考量

(一)重要備份場景

隨著國產化程式的推進,在新形勢新趨勢下有哪些備份場景需要我們使用者重點關注呢?筆者認為有以下兩個場景最值得研究和關注。

1.分散式資料庫備份

近幾年伴隨著基礎軟體國產化的快速推進,以DB2、ORACLE為首的外國商用集中式資料庫向國產分散式資料庫的改造正如火如荼地進行。在這樣的形式下,國產分散式資料庫的備份場景已經是目前信創趨勢下的一大重點。

我們使用者需要重點關注和研究國產分散式資料庫的備份技術和實現手段,這裡面需要注意的是國產備份軟體和國產分散式資料庫的相容性和穩定性問題。目前,愛數、鼎甲、雲信達、壹進位制等國產備份廠商已經紛紛和幾大國產分散式資料庫進行了適配。但是由於國產分散式資料庫自身的功能還在發展階段,缺陷較多,這對國產備份軟體在適配方面提出了非常高的要求。

另外,分散式資料庫自身架構和部署方式的不同也會給備份帶來不同的特點,比如單中心、多中心的不同部署方式對應的備份方式可能不一樣。單分片、多分片架構備份的特點也不一樣。對於多分片資料庫的備份,在多個資料分片合併恢復的時候需要考慮資料庫的全域性一致性。

2.容器備份

隨著雲原生理唸的不斷普及,越來越多的企業開始和研究和應用容器技術,部分大型銀行的核心繫統已經使用容器。因此,容器的備份應當是目前以及未來備份場景中需要重點關注的一個方面。

大部分容器使用場景下,為了更便捷地進行容器任意排程、遷移,在設計上把容器儘可能做成無狀態服務,狀態儲存在外部儲存池中。在這種設計下,容器應用無需備份,只需要對外部儲存中的應用資料進行備份。

但是在如今k8s容器時代,容器是一個動態變化的資源,例如正在執行在哪個node上、配置的引數、版本等等資訊都可能是變化的。容器的資料備份已經不能把容器本身以及應用的資料分開來了。備份的時候,應該把應用的資源以及資料打包,一起備份到第二儲存上去。

(二)備份策略制定

資料備份的策略,從大的維度要確定哪些資料需要備份、哪些資料需要全量備份、哪些資料可以增量備份,從細的維度要確定備份的頻率、視窗等各種必要因素。制定備份策略的過程需要考慮到資料本身的量級、資料的具體型別、極端條件下對資料恢復時間及資料丟失量的容忍程度、資料備份系統以及備份介質本身的效能特性、業務發展的規模及趨勢判斷等等。

(三)備份系統設計

信創趨勢下,對於備份系統的設計主要包括備份介質和備份軟體的選擇、備份系統整體架構的設計。

1.備份介質的選擇

備份介質從是否需要加電的角度分為線上介質和離線介質兩類。線上介質主要是各類磁碟裝置,包括伺服器本地硬碟、集中式塊儲存、集中式NAS、分散式NAS、物件儲存等。離線介質主要是磁帶和藍光儲存。

按照《GB/T 20988—2007資訊保安技術資訊系統災難恢復規範》中對於資料備份系統的要求--“ 備份介質場外存放”,個人認為離線備份是有必要的。現在部分使用者完全使用線上裝置(比如大資料平臺、物件儲存)用作備份資料的永久保留個人認為和監管要求有偏離。

傳統離線介質主要是磁帶,單盤容量大,儲存週期長,金融行業已經具有多年的成熟使用經驗,但目前仍然是依靠外國產品。隨著國產化程式的推進,備份介質的國產化是不可避免的主題。使用大容量光碟作為儲存介質的藍光儲存目前成為備選方案之一,但其生態,即和各個備份場景的相容性還有待完善和檢驗。

2.備份軟體的選擇

過去我們主要使用TSM、NBU、CV等國外廠商的備份軟體,這些備份軟體也和DB2、ORACLE等外國商用資料庫有著很好的相容性。近幾年伴隨著基礎軟體國產化的推進,DB2、ORACLE等外國商用資料庫向國產資料庫的改造推進速度極快,同時也湧現出一批有競爭力的國產備份軟體。當然由於國產資料庫尤其是國產分散式資料庫以及國產作業系統版本更新速度很快,對國產備份軟體和它們兩者之間的相容性的挑戰很大。很多使用者也是在採用有代理還是無代理的備份方式之間徘徊。個人認為可以優先考慮無代理備份方式,以減少由於資料庫伺服器本地作業系統或者資料庫版本升級帶來的麻煩。

3. 備份系統整體架構的設計

對於備份系統整體架構的設計就是將備份介質、備份軟體、備份資料傳輸方式三者整體結合起來的過程。備份介質和備份軟體根據線上/離線、外國/國產、有無代理等維度考慮。備份資料傳輸方式主要是萬兆乙太網和SAN網路兩種。在國產分散式資料庫、大資料平臺等備份場景下,同時結合國產備份軟體,萬兆乙太網已成為從資料來源端到備份介質之間傳輸的主要網路載體。

對於備份系統整體架構的設計,這裡舉兩種典型的架構設計。第一種是系統整合方案,比如採用分散式NAS對於近期備份資料線上儲存,採用藍光儲存作為長期歸檔儲存,同時採用一個國產備份軟體用來定時將分散式資料庫資料先備份到分散式NAS,再從分散式NAS上將超過一定時間的備份結果轉儲到離線儲存進行永久儲存。第二種則是很多國產備份廠商推崇的軟硬一體架構,比如華為的OceanProtect一體化備份方案、各個國產備份廠商的備份一體機等等。對於技術基礎紮實喜歡DIY的使用者可以選擇第一種,對於希望快速部署拿來即用的使用者則可以選擇第二種。

三、總結

資料備份是永恆的話題,做好資料備份是保障業務連續性的基石,是企業的生命線。隨著IT基礎設施和基礎軟體國產化程式的快速推進,我們需要及時探索新的更符合長期發展的備份方案,更新企業的整體備份架構,方能跟上時代步伐,與時俱進。

來自 “ twt社群 ”, 原文作者:康建國;原文連結:https://mp.weixin.qq.com/s/ajbRPapGHQEwwz61JIYqVA,如有侵權,請聯絡管理員刪除。

相關文章