全面瞭解什麼是儲存虛擬化(轉帖)

tonykorn97發表於2008-10-06
隨著圍繞數字化、網路化開展的各種多媒體處理業務的不斷增加,儲存系統網路平臺已經成為一個核心平臺,同時各種應用對平臺的要求也越來越高,不光是在儲存容量上,還包括資料訪問效能、資料傳輸效能、資料管理能力、儲存擴充套件能力等等多個方面。可以說,儲存網路平臺的綜合效能的優劣,將直接影響到整個系統的正常執行。[@more@]

為達到這些要求,一種新興的技術正越來越受到大家的關注,即虛擬儲存技術。

其實虛擬化技術並不是一件很新的技術,它的發展,應該說是隨著計算機技術的發展而發展起來的,最早是始於70年代。由於當時的儲存容量,特別是記憶體容量成本非常高、容量也很小,對於大型應用程式或多程式應用就受到了很大的限制。為了克服這樣的限制,人們就採用了虛擬儲存的技術,最典型的應用就是虛擬記憶體技術。

隨著計算機技術以及相關資訊處理技術的不斷髮展,人們對儲存的需求越來越大。這樣的需求刺激了各種新技術的出現,比如磁碟效能越來越好、容量越來越大。但是在大量的大中型資訊處理系統中,單個磁碟是不能滿足需要,這樣的情況下儲存虛擬化技術就發展起來了。在這個發展過程中也由幾個階段和幾種應用。首先是磁碟條帶集(RAID,可帶容錯)技術,將多個物理磁碟透過一定的邏輯關係集合起來,成為一個大容量的虛擬磁碟。而隨著資料量不斷增加和對資料可用性要求的不斷提高,又一種新的儲存技術應運而生,那就是儲存區域網路(SAN)技術。

SAN的廣域化則旨在將儲存裝置實現成為一種公用設施,任何人員、任何主機都可以隨時隨地獲取各自想要的資料。目前討論比較多的包括iSCSI、FC Over IP 等技術,由於一些相關的標準還沒有最終確定,但是儲存裝置公用化、儲存網路廣域化是一個不可逆轉的潮流。

一、虛擬儲存的概念

所謂虛擬儲存,就是把多個儲存介質模組(如硬碟、RAID)透過一定的手段集中管理起來,所有的儲存模組在一個儲存池(Storage Pool)中得到統一管理,從主機和工作站的角度,看到就不是多個硬碟,而是一個分割槽或者卷,就好象是一個超大容量(如1T以上)的硬碟。這種可以將多種、多個儲存裝置統一管理起來,為使用者提供大容量、高資料傳輸效能的儲存系統,就稱之為虛擬儲存。

二、虛擬儲存的分類

目前虛擬儲存的發展尚無統一標準,從虛擬化儲存的拓撲結構來講主要有兩種方式:即對稱式與非對稱式。對稱式虛擬儲存技術是指虛擬儲存控制裝置與儲存軟體系統、交換裝置整合為一個整體,內嵌在網路資料傳輸路徑中;非對稱式虛擬儲存技術是指虛擬儲存控制裝置獨立於資料傳輸路徑之外。從虛擬化儲存的實現原理來講也有兩種方式;即資料塊虛擬與虛擬檔案系統。具體如下:

1.對稱式虛擬儲存

儲存控制裝置 High Speed Traffic Directors(HSTD)與儲存池子系統Storage Pool整合在一起,組成SAN Appliance。可以看到在該方案中儲存控制裝置HSTD在主機與儲存池資料交換的過程中起到核心作用。該方案的虛擬儲存過程是這樣的:由HSTD內嵌的儲存管理系統將儲存池中的物理硬碟虛擬為邏輯儲存單元(LUN),並進行埠對映(指定某一個LUN能被哪些埠所見),主機端將各可見的儲存單元對映為作業系統可識別的磁碟機代號。當主機向SAN Appliance寫入資料時,使用者只需要將資料寫入位置指定為自己對映的磁碟機代號(LUN),資料經過HSTD的高速並行埠,先寫入快取記憶體,HSTD中的儲存管理系統自動完成目標位置由LUN到物理硬碟的轉換,在此過程中使用者見到的只是虛擬邏輯單元,而不關心每個LUN的具體物理組織結構。該方案具有以下主要特點:

(1)採用大容量快取記憶體,顯著提高資料傳輸速度。

快取是儲存系統中廣泛採用的位於主機與儲存裝置之間的I/O路徑上的中間介質。當主機從儲存裝置中讀取資料時,會把與當前資料儲存位置相連的資料讀到快取中,並把多次呼叫的資料保留在快取中;當主機讀資料時,在很大機率上能夠從快取中找到所需要的資料。直接從快取上讀出。而從快取讀取資料時的速度只受到電訊號傳播速度的影響(等於光速),因此大大高於從硬碟讀資料時碟片機械轉動的速度。當主機向儲存裝置寫入資料時,先把資料寫入快取中,待主機端寫入動作停止,再從快取中將資料寫入硬碟,同樣高於直接寫入硬碟的速度

(2)多埠並行技術,消除了I/O瓶頸。

傳統的FC儲存裝置中控制埠與邏輯盤之間是固定關係,訪問一塊硬碟只能透過控制它的控制器埠。在對稱式虛擬儲存裝置中,SAN Appliance的儲存埠與LUN的關係是虛擬的,也就是說多臺主機可以透過多個儲存埠(最多8個)併發訪問同一個LUN;在光纖通道100MB/頻寬的大前提下,並行工作的埠數量越多,資料頻寬就越高。

(3)邏輯儲存單元提供了高速的磁碟訪問速度。

在影片應用環境中,應用程式讀寫資料時以固定大小的資料塊為單位(從512byte到1MB之間)。而儲存系統為了保證應用程式的頻寬需求,往往設計為傳輸512byte以上的資料塊大小時才能達到其最佳I/O效能。在傳統SAN結構中,當容量需求增大時,唯一的解決辦法是多塊磁碟(物理或邏輯的)繫結為帶區集,實現大容量LUN。在對稱式虛擬儲存系統中,為主機提供真正的超大容量、高效能LUN,而不是用帶區集方式實現的效能較差的邏輯卷。與帶區集相比,Power LUN具有很多優勢,如大塊的I/O block會真正被儲存系統所接受,有效提高資料傳輸速度;並且由於沒有帶區集的處理過程,主機CPU可以解除很大負擔,提高了主機的效能。

(4)成對的HSTD系統的容錯效能。

在對稱式虛擬儲存系統中,HSTD是資料I/O的必經之地,儲存池是資料存放地。由於儲存池中的資料具有容錯機制保障安全,因此使用者自然會想到HSTD是否有容錯保護。象許多大型儲存系統一樣,在成熟的對稱式虛擬儲存系統中,HSTD是成對配製的,每對HSTD之間是透過SAN Appliance內嵌的網路管理服務實現快取資料一致和相互通訊的。

(5)在SAN Appliance之上可方便的連線交換裝置,實現超大規模Fabric結構的SAN。

因為系統保持了標準的SAN結構,為系統的擴充套件和互連提供了技術保障,所以在SAN Appliance之上可方便的連線交換裝置,實現超大規模Fabric結構的SAN。

2.非對稱式虛擬儲存系統

網路中的每一臺主機和虛擬儲存管理裝置均連線到磁碟陣列,其中主機的資料路徑透過FC交換裝置到達磁碟陣列;虛擬儲存裝置對網路上連線的磁碟陣列進行虛擬化操作,將各儲存陣列中的LUN虛擬為邏輯帶區集(Strip),並對網路上的每一臺主機指定對每一個Strip的訪問許可權(可寫、可讀、禁止訪問)。當主機要訪問某個Strip時,首先要訪問虛擬儲存裝置,讀取Strip資訊和訪問許可權,然後再透過交換裝置訪問實際的Strip中的資料。在此過程中,主機只會識別到邏輯的Strip,而不會直接識別到物理硬碟。這種方案具有如下特點:

(1)將不同物理硬碟陣列中的容量進行邏輯組合,實現虛擬的帶區集,將多個陣列控制器埠繫結,在一定程度上提高了系統的可用頻寬。

(2)在交換機埠數量足夠的情況下,可在一個網路內安裝兩臺虛擬儲存裝置,實現Strip資訊和訪問許可權的冗餘。

但是該方案存在如下一些不足:

(1)該方案本質上是帶區集——磁碟陣列結構,一旦帶區集中的某個磁碟陣列控制器損壞,或者這個陣列到交換機路徑上的銅纜、GBIC損壞,都會導致一個虛擬的LUN離線,而帶區集本身是沒有容錯能力的,一個LUN的損壞就意味著整個Strip裡面資料的丟失。

(2)由於該方案的頻寬提高是透過陣列埠繫結來實現的,而普通光纖通道陣列控制器的有效頻寬僅在40MB/S左右,因此要達到幾百兆的頻寬就意味著要呼叫十幾臺陣列,這樣就會佔用幾十個交換機埠,在只有一兩臺交換機的中小型網路中,這是不可實現的。

(3)由於各種品牌、型號的磁碟陣列其效能不完全相同,如果出於虛擬化的目的將不同品牌、型號的陣列進行繫結,會帶來一個問題:即資料寫入或讀出時各併發資料流的速度不同,這就意味著原來的資料包順序在傳輸完畢後被打亂,系統需要佔用時間和資源去重新進行資料包排序整理,這會嚴重影響系統效能。

3.資料塊虛擬與虛擬檔案系統

以上從拓撲結構角度分析了對稱式與非對稱式虛擬儲存方案的異同,實際從虛擬化儲存的實現原理來講也有兩種方式;即資料塊虛擬與虛擬檔案系統。

資料塊虛擬儲存方案著重解決資料傳輸過程中的衝突和延時問題。在多交換機組成的大型Fabric結構的SAN中,由於多臺主機透過多個交換機埠訪問儲存裝置,延時和資料塊衝突問題非常嚴重。資料塊虛擬儲存方案利用虛擬的多埠並行技術,為多臺客戶機提供了極高的頻寬,最大限度上減少了延時與衝突的發生,在實際應用中,資料塊虛擬儲存方案以對稱式拓撲結構為表現形式。

虛擬檔案系統儲存方案著重解決大規模網路中檔案共享的安全機制問題。透過對不同的站點指定不同的訪問許可權,保證網路檔案的安全。在實際應用中,虛擬檔案系統儲存方案以非對稱式拓撲結構為表現形式。

三、虛擬儲存技術的實現方式

目前實現虛擬儲存主要分為如下幾種:

1.在伺服器端的虛擬儲存

伺服器廠商會在伺服器端實施虛擬儲存。同樣,軟體廠商也會在伺服器平臺上實施虛擬儲存。這些虛擬儲存的實施都是透過伺服器端將映象對映到外圍儲存裝置上,除了分配資料外,對外圍儲存裝置沒有任何控制。伺服器端一般是透過邏輯卷管理來實現虛擬儲存技術。邏輯卷管理為從物理儲存對映到邏輯上的卷提供了一個虛擬層。伺服器只需要處理邏輯卷,而不用管理儲存裝置的物理引數。

用這種構建虛擬儲存系統,伺服器端是一效能瓶頸,因此在多媒體處理領域幾乎很少採用。

2.在儲存子系統端的虛擬儲存

另一種實施虛擬的地方是儲存裝置本身。這種虛擬儲存一般是儲存廠商實施的,但是很可能使用廠商獨家的儲存產品。為避免這種不相容性,廠商也許會和伺服器、軟體或網路廠商進行合作。當虛擬儲存實施在裝置端時,邏輯(虛擬)環境和物理裝置同在一個控制範圍中,這樣做的益處在於:虛擬磁碟高度有效地使用磁碟容量,虛擬磁帶高度有效地使用磁帶介質。

在儲存子系統端的虛擬儲存裝置主要透過大規模的RAID子系統和多個I/O通道連線到伺服器上,智慧控制器提供LUN訪問控制、快取和其他如資料複製等的管理功能。這種方式的優點在於儲存裝置管理員對裝置有完全的控制權,而且透過與伺服器系統分開,可以將儲存的管理與多種伺服器作業系統隔離,並且可以很容易地調整硬體引數。

3.網路裝置端實施虛擬儲存

網路廠商會在網路裝置端實施虛擬儲存,透過網路將邏輯映象對映到外圍儲存裝置,除了分配資料外,對外圍儲存裝置沒有任何控制。在網路端實施虛擬儲存具有其合理性,因為它的實施既不是在伺服器端,也不是在儲存裝置端,而是介於兩個環境之間,可能是最“開放”的虛擬實施環境,最有可能支援任何的伺服器、作業系統、應用和儲存裝置。從技術上講,在網路端實施虛擬儲存的結構形式有以下兩種:即對稱式與非對稱式虛擬儲存。

從目前的虛擬儲存技術和產品的實際情況來看,基於主機和基於儲存的方法對於初期的採用者來說魅力最大,因為他們不需要任何附加硬體,但對於異構儲存系統和作業系統而言,系統的執行效果並不是很好。基於互聯裝置的方法處於兩者之間,它迴避了一些安全性問題,儲存虛擬化的功能較強,能減輕單一主機的負載,同時可獲得很好的可擴充性。

不管採用何種虛擬儲存技術,其目的都使為了提供一個高效能、安全、穩定、可靠、可擴充套件的儲存網路平臺,滿足節目製作網路系統的苛刻要求。根據綜合的效能價格比來說,一般情況下,在基於主機和基於儲存裝置的虛擬儲存技術能夠保證系統的資料處理能力要求時,優先考慮,因為這兩種虛擬儲存技術構架方便、管理簡單、維護容易、產品相對成熟、效能價格比高。在單純的基於儲存裝置的虛擬儲存技術無法保證儲存系統效能要求的情況下,我們可以考慮採用基於互連裝置的虛擬儲存技術。


四、虛擬儲存的特點

虛擬儲存具有如下特點:

(1)虛擬儲存提供了一個大容量儲存系統集中管理的手段,由網路中的一個環節(如伺服器)進行統一管理,避免了由於儲存裝置擴充所帶來的管理方面的麻煩。例如,使用一般儲存系統,當增加新的儲存裝置時,整個系統(包括網路中的諸多使用者裝置)都需要重新進行繁瑣的配置工作,才可以使這個“新成員”加入到儲存系統之中。而使用虛擬儲存技術,增加新的儲存裝置時,只需要網路管理員對儲存系統進行較為簡單的系統配置更改,客戶端無需任何操作,感覺上只是儲存系統的容量增大了。

(2)虛擬儲存對於影片網路系統最有價值的特點是:可以大大提高儲存系統整體訪問頻寬。儲存系統是由多個儲存模組組成,而虛擬儲存系統可以很好地進行負載平衡,把每一次資料訪問所需的頻寬合理地分配到各個儲存模組上,這樣系統的整體訪問頻寬就增大了。例如,一個儲存系統中有4個儲存模組,每一個儲存模組的訪問頻寬為50MBps,則這個儲存系統的總訪問頻寬就可以接近各儲存模組頻寬之和,即200MBps。

(3)虛擬儲存技術為儲存資源管理提供了更好的靈活性,可以將不同型別的儲存裝置集中管理使用,保障了使用者以往購買的儲存裝置的投資。

(4)虛擬儲存技術可以透過管理軟體,為網路系統提供一些其它有用功能,如無需伺服器的遠端映象、資料快照(Snapshot)等。

五、虛擬儲存的應用 由於虛擬儲存具有上述特點,虛擬儲存技術正逐步成為共享儲存管理的主流技術,其應用具體如下:

1.資料映象

資料映象就是透過雙向同步或單向同步模式在不同的儲存裝置間建立資料複本。一個合理的解決方案應該能在不依靠裝置生產商及作業系統支援的情況下,提供在同一儲存陣列及不同儲存陣列間製作映象的方法。

2.資料複製

透過IP地址實現的遠距離資料遷移(通常為非同步傳輸)對於不同規模的企業來說,都是一種極為重要的資料災難恢復工具。好的解決方案不應當依賴特殊的網路裝置支援,同時,也不應當依賴主機,以節省企業的管理費用。

3.磁帶備份增強裝置

過去的幾年,在磁帶備份技術上鮮有新發展。儘管如此,一個網路儲存裝置平臺亦應能在磁帶和磁碟間搭建橋路,以高速、平穩、安全地完成備份工作。

4.實時複本

出於測試、擴充及彙總或一些別的原因,企業經常需要製作資料複本。

5.實時資料恢復

利用磁帶來還原資料是資料恢復工作的主要手段,但常常難以成功。資料管理工作其中一個重要的發展新方向是將近期內的備分資料(可以是數星期前的歷史資料)轉移到磁碟介質,而非磁帶介質。用磁碟恢復資料就象閃電般迅速(所有檔案能在60秒內恢復),並遠比用磁帶恢復資料安全可靠。同時,整卷(Volume)資料都能被恢復。

6.應用整合

儲存管理發展的又一新方向是,將服務貼近應用。沒有一個資訊科技領域的管理人員會單純出於對儲存裝置的興趣而去購買它。儲存裝置是用來服務於應用的,比如資料庫,通訊系統等等。透過將儲存裝置和關鍵的企業應用行為相整合,能夠獲取更大的價值,同時,大大減少操作過程中遇到的難題。

7.虛擬儲存在數字影片網路中的應用

從拓撲結構來講,對稱式的方案具有更高的頻寬效能,更好的安全特性,因此比較適合大規模影片網路應用。非對稱式方案由於採用了虛擬檔案原理,因此更適合普通區域網(如辦公網)的應用。

來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/312079/viewspace-1011703/,如需轉載,請註明出處,否則將追究法律責任。

相關文章