【儲存資料恢復】EMC某型號儲存raid5崩潰的資料恢復案例

儲存資料恢復環境：

北京某醫院的一臺EMC某型號儲存raid5崩潰；

儲存共12塊硬碟組成raid5（2塊熱備盤）；

上層一個lun分配給sun小機，上層檔案系統是ZFS。

儲存故障：

故障儲存中有2塊硬碟出現故障，但只有1塊熱備盤啟用成功，raid5陣列癱瘓，上層lun無法使用。

儲存資料恢復過程：

1、資料恢復工程師檢測故障儲存中所有磁碟沒有發現物理故障和壞道。

2、使用工具將故障儲存中的全部磁碟映象備份。源磁碟的扇區大小是520位元組，需要把所有備份資料做520位元組 to 512字

節的轉換。

3、由於所有硬碟不存在物理故障和壞道，可以初步判斷故障是由部分磁碟讀寫不穩定造成的。因為EMC控制器有著非常嚴

格的檢查磁碟策略，如果磁碟出現效能不穩定的情況就會被EMC控制器判斷為壞盤並踢出raid陣列。當raid中掉盤數量超過

該raid所允許最大掉盤數量，raid癱瘓，導致raid的上層lun不可用。

4、EMC儲存的LUN都是基於RAID的，因此需要先分析底層RAID的資訊，然後根據分析獲取到的資訊重構原始RAID。對所

有硬碟資料分析，發現8號盤和11號盤完全沒有資料，8號盤和11號盤都是Hot Spare，但8號盤的Hot Spare替換了5號壞盤

。因此判斷8號盤（Hot Spare）雖然成功啟用，但RAID陣列中還缺失一塊硬碟，所以資料沒有同步到8號硬碟中。繼續分析

其他10塊硬碟的資料分佈規律、RAID條帶的大小和每塊磁碟的順序。

5、基於分析獲取到的RAID資訊，透過北亞自主開發的RAID虛擬程式將原始RAID虛擬出來。但由於故障RAID總共掉線兩塊

盤，因此需要判斷這兩塊硬碟的掉線順序。仔細分析所有硬碟中的資料發現有一塊硬碟在同一個條帶上的資料和其他硬碟明

顯不一致，因此可以初步判斷此盤是最先掉線的，透過北亞自主開發的RAID校驗程式檢測這個條帶發現除掉剛才分析的那塊

硬碟得出的資料是最好的，因此可以確定最先掉線的硬碟。

6、由於EMC儲存的LUN是基於RAID的，RAID重組出來後，資料恢復工程師開始分析LUN在RAID中的分配資訊以及LUN分

配的資料塊MAP。上層只有一個LUN，只需要分析一份LUN資訊，然後根據分析出來的資訊使用raid恢復程式解釋LUN的數

據MAP並匯出LUN的所有資料。

7、利用北亞自主開發的ZFS檔案系統解釋程式對生成的LUN做檔案系統解釋，但是在解釋某些檔案系統元檔案的時候有報錯

。於是開發工程師對該ZFS檔案系統解釋程式做debug除錯並分析程式報錯原因。檔案系統工程師分析ZFS檔案系統是否因為

版本原因導致程式不支援。經過數小時的分析與除錯，結果發現儲存突然崩潰導致ZFS檔案系統中某些元檔案損壞，從而導致

解釋報錯。

8、透過分析確認儲存癱瘓導致部分檔案系統元檔案損壞，只有修復好這些損壞的檔案系統元檔案才能正常解析ZFS檔案系統。

透過分析損壞的元檔案發現，儲存癱瘓的同時ZFS檔案系統正在進行IO操作，所以導致部分檔案系統元檔案沒有更新或者損壞。

資料恢復工程師對這些損壞的元檔案進行手工修復，保證ZFS檔案系統能夠正常解析。

9、修復好的ZFS檔案系統做解析，解析所有檔案節點及目錄結構。由使用者方工程師對資料進行驗證，驗證沒有發現問題，數

據完整可用。