一文深入理解快照技術

快照技術一般被定義為一組檔案或目錄或者是卷在某個特定的時間點上的副本。它所能捕獲到得是一些特定資料在特定時間點上的映像。快照技術的出現是為了解決我們經常碰到的一些備份上的問題。

• 需要備份的資料量太大，以至於無法在有限的時間段內完成備份。

• 從一個未被備份的目錄中向一個已經備份過的目錄移動檔案，經常會導致備份失敗發生;

• 由於備份時一些檔案正在進行寫操作，所以有些備份的資料不能使用。

• 熱備份嚴重影響應用系統的效能，等等。

所有上述常見的備份問題其實都可以用快照技術來解決。但是，我們也不能單純的將快照視為解決所有問題的靈丹妙藥，因為快照技術還有待進一步完善。(例如“快照的一致性問題”)。

備份技術已經整理成電子書<資料備份和副本管理技術全面解析>內容豐富全面，可點選原文連結檢視詳情。

快照技術的概述介紹

建立一個快照不同的裝置需要不同的命令，但對於系統來說，基本都包括如下幾個步驟：

• 1、首先發起建立指令

• 2、在發起時間點，指令通知作業系統暫停應用程式和檔案系統的操作

• 3、重新整理檔案系統快取，結束所有的讀寫事務

• 4、建立快照點

• 5、建立完成之後，釋放檔案系統和應用程式，系統恢復正常執行。

現在，快照技術已經超越了簡單的資料保護範疇。我們可以用快照進行高效且無風險的應用軟體測試。用快照資料做測試，不會對生產資料造成任何的破壞。對於資料探勘(Data Mining)和電子發現(eDiscovery)應用，快照也是理想的測試資料來源。在災難恢復方面，快照是一種非常有效的方法——甚至是首選，非常適合遭到惡意軟體攻擊、人為誤操作和資料損壞等邏輯錯誤發生時的資料恢復。

基於檔案系統和LVM的快照

過去我們認為只有磁碟陣列具備快照功能，但事實上磁碟陣列只是其中之一而已。廣義的快照技術通常可有7個不同型別的實現主體：

• 1、主機檔案系統(包括伺服器、桌上型電腦、膝上型電腦)

• 2、邏輯卷管理器(LVM)

• 3、網路附加儲存系統(NAS)

• 4、磁碟陣列

• 5、儲存虛擬化裝置

• 6、主機虛擬化管理程式

• 7、資料庫。

下面將逐項給大家介紹一下在各個系統中快照技術的應用，並對其進行詳細的說明。

基於檔案系統的快照

很多檔案系統都支援快照功能，例如:

• Windows NTFS的VSS卷影複製服務(Volume Shadow Copy Services；

• Vista稱作Shadow Copy)；

• Sun Solaris的最新檔案系統ZFS(Zettabyte File System)；

• Apple公司的Mac OS X 10.6(雪豹)；

• Novell NetWare 4.11(或更高版本)的Novell Storage Services (NSS) ； 

• Novell SUSE Linux作業系統下的OES-Linux等等。

免費是檔案系統快照的優勢之一，因為它整合在檔案系統內部；另一個優點是非常好用，最新版檔案系統的快照功能通常使用起來很簡單。

但存在的劣勢是每個檔案系統都必須獨立進行管理，當系統數量激增時，管理工作會變得非常繁重。想象一下，如果我們要做快照複製的話，需要給每一個檔案系統都配置一套複製關係，而且還只能複製該檔案系統自己的快照。

此外，不同檔案系統所提供的快照種類、快照頻率、預留空間等引數也可能不一樣，當然也包括設定、操作和管理上的差異。總之，需要管理的伺服器和檔案系統越多，複雜程度就越高。

基於LVM邏輯卷管理器快照

常見的作業系統和儲存管理軟體中，帶有快照技術的LVM也很多，比如:

• 惠普HP-UX作業系統Logical Volume Manager；

• Linux平臺的Logical Volume Manager和Enterprise Volume Management System系統；

• 微軟Windows 2000及後續版本自帶的Logical Disk Manager系統；

• SUN Solaris 10作業系統的ZFS；

• Veritas Volume Manager (Veritas Volume Manager是賽門鐵克Veritas Storage Foundation產品的一部分)。

我們可以建立跨多個檔案系統的LVM快照。像賽門鐵克的Veritas Volume Manager可以支援大多數常見的作業系統和檔案系統。LVM通常還包括儲存多路徑和儲存虛擬化等功能。

使用LVM時，通常要付出額外的成本，包括為每臺伺服器購買license(許可證)和維護費。而且，像基於檔案系統的快照一樣，我們可能還要面對系統之間的協調問題和複雜的技術實施問題。

基於NAS和磁碟陣列的快照

• 基於NAS的快照

NAS本質上就是一個經過最佳化的、或是專門定製的檔案系統，執行在特定的裝置上，或整合在儲存裝置裡。大多數中端和企業級NAS系統都提供快照功能，其中既有使用專有作業系統的裝置，也包括大量基於Microsoft Windows Storage Server軟體的各種NAS。

透過網路連線到NAS的計算機系統都可以使用這種標準的通用快照，包括物理伺服器、虛擬機器、桌上型電腦和膝上型電腦。它也非常容易操作和管理。基於NAS的快照往往同Volume Shadow Copy Services (VSS)、備份伺服器和備份Agent等軟體整合在一起使用。一些NAS廠商還為非Windows平臺的資料應用系統開發了Agent代理程式。其他一些與NAS快照有關的技術還包括重複資料刪除(EMC公司，FalconStor軟體公司和NetApp的產品)，有些廠商甚至提供了帶有自動精簡配置功能的快照，目的是讓快照佔用的空間變得更少。

但是，使用便利的工具和附加功能也需要成本，軟體license和維護費相當昂貴，一般是按照機器數量和磁碟卷容量來計算。大多數公司的資料量增長很快，需要使用NAS快照技術的地方也越來越多，因此，操作和管理也將更復雜。

• 基於磁碟陣列的快照

大多數磁碟陣列的軟體系統裡都含有快照功能。基於磁碟陣列的快照與基於NAS的快照有非常相似的優點，即所有與磁碟陣列相連的計算機系統都可以使用這種標準的通用快照功能，包括物理伺服器、虛擬機器、桌上型電腦和膝上型電腦等等。快照的實施、操作和管理也都很簡單。像NAS一樣，很多磁碟陣列的快照功能也可以被Windows VSS、備份伺服器和備份Agent等軟體直接呼叫。一些磁碟陣列廠商還有可供非Windows平臺應用系統使用的Agent代理程式。

基於磁碟陣列的快照存在的缺點是license和維護費用昂貴，對非Windows平臺的應用程式支援有限，磁碟陣列的數量越多，快照的管理也就越複雜。

基於儲存虛擬化的快照技術

• 基於儲存裝置的快照

這裡所說的儲存虛擬化裝置主要用於SAN光纖網路環境，不同於基於檔案(NFS)應用的網路裝置，像F5 Network公司的Acopia ARX產品就是排除在這個範疇之外的。主要的儲存虛擬化軟硬體儲存裝置(或融合了虛擬化功能的儲存系統)都支援快照能力。

磁碟陣列和NAS快照所具備的優點在儲存虛擬化裝置上同樣能夠體現，而且某些方面還能做的更好。我們可以將來自不同廠商的很多儲存裝置聚集在少量的幾個控制點或單一控制點上進行管理，提供通用的標準化快照。這樣做最大程度的簡化了快照的管理操作成本和學習成本。

儲存虛擬化快照的缺點與上述型別相比則有些不同。使用儲存虛擬化裝置會導致I/O延遲的增加，即使是採用旁路架構的設計，最終還是會影響應用程式的響應時間。增加儲存虛擬化裝置還會使故障分析變得更加困難，潛在的還可能激化廠商之間對故障責任的推諉。從另一個角度看，雖然增加額外的虛擬化儲存硬體或軟體要產生一定的費用，但是與每個儲存系統都獨立購買快照功能相比，它的軟體license和維護費用都要低一些。

• 基於主機虛擬化軟體的快照

隨著伺服器虛擬化應用的普及，基於主機虛擬化管理軟體(Hypervisor)的快照技術也逐漸流行起來。像Citrix公司的 XenServer、微軟的Hyper – V、SUN的xVM Ops Center、以及VMware的ESX和vSphere4等主機虛擬化產品都支援快照功能。

在主機虛擬化軟體層實現快照的優點是簡單直接。由於同虛擬機器管理軟體繫結在一起，因此可以為所有的虛擬機器 (VMs) 提供統一的快照，並且還可以同微軟的VSS整合，隨時呼叫。相對而言，基於虛擬機器的快照很容易部署、使用和管理。

但是，如果非要找出不喜歡這種快照的理由?我想應該是每一套虛擬機器軟體的快照需要單獨管理;而且當我們在非Windows平臺下使用這種快照技術時，必須針對整個VM。這意味著我們只能做粗粒度的資料恢復，還要消耗更多的恢復時間。這種快照是在Windows作業系統外部建立，所以它不能架構在應用軟體感知的層面，導致快照出來的映像資料有可能是不一致狀態。

• 基於資料庫的快照

在資料庫中，快照動作被稱為“SnapShot Isolation(快照隔離)”。像Oracle和PostgreSQL這樣的資料庫需要做快照隔離以確保所有的交易命令序列化，就好像被一個個隔開一樣，然後再逐個執行。其他的一些資料庫也支援快照隔離，但並不要求將交易序列化。在一般情況下，資料庫備份工具會利用快照隔離的功能，用快照來恢復崩潰(出現一致性問題)的資料表。

針對資料庫內部資料和基於該資料庫的相關應用，使用資料庫自帶的快照比較有效。

相反，資料庫快照的重要缺欠就是覆蓋的範圍非常有限，其作用僅限於特定的資料庫內部和資料庫相關的應用，無法管理同在一臺伺服器上的檔案系統、檔案類應用或其他資料庫，更不用說管理到其他的伺服器了。有時候我們不得不透過其他層次的快照技術來解決資料庫之外的資料保護問題，這樣，操作和管理將變得有些複雜。

不同型別的快照及工作原理

通常，我們會提到6種型別的快照技術：

• 1、Copy-on-write 複製寫

• 2、Redirect-on-write 重定向寫

• 3、Clone or split mirror 克隆或映象

• 4、Copy-on-write with background copy後臺複製的複製寫

• 5、Incremental 增量快照

• 6、Continuous data protection 持續資料保護

複製寫和重定向寫快照

• Copy-on-write (COW) 複製寫快照技術

COW快照需要消耗一些儲存空間--建立快照卷。當我們為一個資料卷建立一個快照之後，這些預留的空間用來存放被變化資料更新的舊資料。COW快照在初始化的過程中僅僅建立用來描述源資料塊位置的指標資訊(後設資料)，而不是完整的將源資料塊複製過來。因此初始化的過程幾乎可以在瞬間完成，對系統的影響也很小。

COW快照會跟蹤資料卷的寫操作和資料塊變化。當某個資料塊發生改變時，在將舊的資料覆蓋之前，首先將該塊的舊資料複製到預留的快照卷，該步驟僅在資料卷相應資料塊位置發生第一次寫操作請求時進行。這個處理過程確保快照出來的資料與發起快照的那個精確時間點保持完全一致。這個過程也描述了“Copy On Write”這個名字的含義。

如果我們需要訪問某個時間點的快照資料，對沒有改變過的塊直接從資料卷讀取；對已經改變並被複制的塊則從快照空間讀取。從快照被建立那一刻開始，每個快照都會跟蹤記錄描述塊改變的後設資料資訊。

COW快照的主要優勢在於空間的高效利用，因為快照卷只需要保留髮生過變化的資料塊，與資料卷相比要小得多。但是我們也知道COW快照有個缺點，它會引起資料卷效能的下降，這是因為建立快照之後，對資料卷的寫操作會增加一個等待的過程 --即舊資料塊複製到快照卷的過程。另外一個關鍵問題是每個快照卷必須依賴一個完整的資料卷。

• Redirect-on-write (ROW) 重定向寫快照

“ROW重定向寫”與“COW複製寫”是相對的概念，它可以避免兩次寫操作引起的效能損失。ROW同COW一樣在空間利用方面效率非常高。那是什麼讓ROW快照避免了寫效能的損耗?

其中的原因是ROW把對資料卷的寫請求重定向給了快照預留的儲存空間，而寫操作的重定向設計則把需要兩次寫才能完成的操作減少為一次寫。我們知道COW的兩次寫包括：

• 1、將舊資料寫入快照卷

• 2、在資料卷寫入新資料。而ROW只有寫入新資料一步。

使用ROW快照，資料卷存放的是上一個快照時間點的舊資料，新資料最終存放在預留的快照空間。這裡也有一個複雜的問題，就是快照的刪除。被刪除的快照上的資料必須被複制到原始資料卷，並且做一致性回退。建立的快照越多，維護快照的複雜度也會以指數級別上升。這些複雜性包括對原始資料的訪問、快照資料和原始資料卷的跟蹤、以及快照刪除後的資料調整。另一個直接引發的嚴重問題是，原始資料集中會產生大量的碎片。

克隆和後臺複製快照技術

• 克隆或分割映象快照

Clone(或Split-Mirror)快照所建立的是資料的完整副本。Clone(或Split-Mirror)快照的物件可以是一個儲存卷、一個檔案系統或者是一個LUN(logical unit number 邏輯單元號)。Clone快照的優點是它們具有高可用性;缺點是所有的資料都要完整的複製一份，複製的過程也不可能在瞬間完成。我們可以分割一對保持同步狀態的映象捲來啟用Clone快照，分割的過程瞬間即可完成。然而，當映象被分割成Clone快照之後，資料卷也就失去了他的同步映象。

使用Clone快照需要面對的一個非常嚴重的問題是每個快照都需要和資料卷一樣大的儲存空間。尤其是當我們在任何時刻都需要保持一份以上Clone卷的情況，這個成本會非常高。另一個缺點是影響效能，因為在映象卷之間保持寫同步需要一定的系統開銷。

• 後臺複製的複製寫快照

該快照有兩個生成步驟，首先建立一個瞬時即可生成的COW快照;然後利用後臺程式將資料卷的資料複製到快照空間，最後生成一份資料卷的克隆或映象。

建立這種快照的目的是發揮COW快照的優勢，同時儘量遮蔽它的不足。因此，這種快照常常被形容為COW和Clone快照的混合體。

增量快照與持續資料保護

• (Incremental)增量快照

增量快照的特點是可以跟蹤資料卷和快照卷的變化。當一個新的增量快照生成之後，舊的快照資料將被重新整理。第一個快照和隨後建立的每一個增量快照資料上都有時間戳標記，利用時間戳我們能夠將快照資料回滾到任意的一個時間點。增量快照技術能夠加快後續快照的生成速度，而且僅僅在名義上多消耗了一點空間而已。由此，我們可以提高建立快照的頻率，也能讓快照保留得更久一點。

增量快照的不足之處是它需要依靠上面所提到的其他基礎技術來建立第一個快照 。如果用Clone方式，那麼第一個快照需要較長的初始化時間;如果用COW方式，資料卷的效能會降低。

• 持續資料保護(CDP)

CDP的出現是為了實現零資料丟失的RPO指標，以及瞬時資料恢復的RTO指標。它本身與同步資料映象很類似，不同之處在於CDP還可以對軟性災難進行恢復。包括人為誤操作、惡意軟體攻擊、意外刪除、資料損壞等情況。

持續資料保護頗像頻率很高的增量快照。它會捕獲並複製任何時刻發生的資料變化，並且給這些資料塊打上時間戳。CDP本質上相當於每個時刻都建立一份增量快照，提供細粒度的精確資料恢復。有些CDP產品同時提供基於時間和基於事件(例如應用程式升級事件)兩種粒度的恢復方式。還有一個理解CDP概念的好方法就是將它看成一個快照的Journal日誌。

對於郵件系統、資料庫和基於資料庫的應用來說，CDP是一個極好的保護方案，能將資料回滾到任意的歷史時間點，恢復過程也簡便、迅速。最有代表性的CDP產品是飛康公司的IPStor，它是一個整合了CDP功能的儲存系統兼儲存虛擬化裝置。

隨著越來越多的資料需要保護，備份視窗也變得越來越緊張，因此需要快照技術來幫助我們解決備份問題。在現實的應用環境中，快照利用的是否恰當對資料保護的等級和恢復的速度有著很大的影響。儘管各型別快照之間存在的技術差異不太容易理解，但無論如何，快照技術都將在資料保護領域和日常儲存管理中扮演重要的角色。

快照的一致性問題

如果用快照來處理結構化資料，可能會存在一些問題。結構化資料涉及到資料庫，以及資料庫類應用(例如郵件系統、ERP或CRM等等)。許多產品中的快照並不能與這些應用程式整合或被直接呼叫。有一種可能的情況是，在我們建立快照的瞬間，資料庫恰好不在靜止狀態(快取正在重新整理、寫操作事務尚未完成、索引和後設資料正在更新等等)，此刻生成的快照資料是不一致的，很有可能無法正常使用。

在微軟的Windows Server平臺上，這個問題要簡單得多，利用Windows Volume Shadow Copy Services (VSS)和它的API，資料庫應用程式可以整合並呼叫快照工具。VSS是專門為結構化資料應用設計的服務框架，可以驅動資料庫等應用進入資料一致性的靜止狀態，在快照開始初始化之前，完成重新整理快取、結束寫操作以及系統狀態的更新。

遺憾的是，目前在Linux和Unix作業系統平臺上還沒有類似VSS的服務或API。VMware公司的vCenter storage API可以說是一個部分解決方案。快照的發起者可以透過vCenter storage API給vCenter發出一個指令，讓虛擬機器進入靜止狀態，然後再執行快照。但這個時候，快照由於沒有透過應用程式感知，也許會存在不一致的問題。

這裡還有一個好辦法，可以不透過Windows VSS，獲得資料庫的一致性快照。這個辦法需要備份軟體的配合。將快照技術的API同備份軟體整合，就可以從備份伺服器端驅動備份軟體的資料庫代理Agent。Agent備份代理程式可以驅動資料庫進入靜止狀態，然後反向讓備份伺服器通知快照工具開始執行建立快照的操作。這也是一個比較有效的辦法。