儲存成本日漸攀升？杉巖MOS海量物件儲存有絕招

自動駕駛、智慧製造、AI……新技術帶來資料量的爆炸式增長，這也導致企業的儲存成本快速上升。

以自動駕駛為例，L3級自動駕駛專案需要儲存50到120PB的感測器資料，這些資料要求在短時間內分析完成，完整測試產生的數百PB資料需要儲存30年以上。這對訓練效率和海量儲存的成本最佳化提出了更高的要求。

分散式儲存，因其效能和擴充套件性更高、TCO成本更優，成為越來越多企業的選擇。作為一款企業級分散式儲存產品，杉巖MOS海量物件儲存（以下簡稱杉巖MOS）針對成本最佳化，除了常規的糾刪碼、橫縱雙向擴容外，還有哪些特色功能特性？來一探究竟！

常規特性解讀

1. 糾刪碼和亞節點糾刪，節省儲存空間

糾刪碼是提高儲存系統資料可靠性的一項編碼技術。杉巖MOS將糾刪碼技術應用到資料冗餘處理中。寫入的物件被拆分為 K 個資料塊，然後編碼生成 M 個校驗塊，總共 K+M 份資料透過DHT 演算法分別存入不同硬碟中。當系統出現故障，丟失了某些塊時，只要這個物件丟失的塊數目不超過 M，就可透過資料恢復演算法，將丟失的資料塊從剩餘的塊中計算出來。在這種方式下，空間的利用率約為 K/(K+M)，資料的可靠性由 M 值的大小決定，M 越大可靠性越高。

例如“3+2”EC 配置下一個物件寫入時，物件會生成 5 個塊，每個塊均存入不同的硬碟，如下圖所示：

圖 1 “3+2”EC 策略示意圖

杉巖MOS提供了靈活的EC配置方式以滿足不同應用場景。杉巖MOS支援EC22+2的儲存策略， 相較於HDFS的三副本策略，採用EC22+2儲存策略的儲存空間利用率提升了175%。

預設的糾刪碼是按照節點來分配資料的，例如EC4+2需要配置6個節點，但亞節點糾刪可按照硬碟來分配資料，例如EC4+2:1，則是把3個節點當6個節點用，每個節點選擇2塊硬碟，整個叢集選擇6塊不同的硬碟來存放4+2總計6個分片資料。如下圖所示：

圖2 “4+2”EC 亞節點糾刪策略示意圖

因此，EC4+2:1相比EC2+1，雖然能容忍節點故障數量仍然是1個，但它可以允許2個節點分別有1塊硬碟故障（總計2塊硬碟故障）而資料不丟失。而實際情況下，硬碟故障的機率是遠遠低於整個節點故障的，所以EC4+2:1還是非常可靠的，在空間利用率上也遠高於三副本。

配置建議：

在滿足效能及可靠性要求下配置適當的EC策略。

在滿足效能要求下，節點數量少於EC塊數量，可以配置亞節點糾刪。

2. 無感知橫縱雙向擴容，降低人力時間成本

杉巖MOS不僅支援節點的橫向擴充套件，還可支援縱向擴充套件。當後期業務容量不足時，可線上擴容節點磁碟或者節點。杉巖MOS基於多故障域的擴容，配合儲存策略，嚮應用遮蔽了底層儲存的變更細節，能夠在業務無感知的情況下，實現業務的擴容，避免了傳統儲存變更時，需要業務系統同時變更的情況，大大減少了運維人員及業務人員的工作量，降低人力時間成本。

配置建議：

將新擴容的節點/磁碟獨立成一個故障域，避免資料的遷移，建議選擇當前叢集業務較少或無業務時間段操作，以防影響業務效能。

結合生命週期轉移技術，將某個故障域的資料自動轉移到另一個故障域中，實現資料的分層儲存。

杉巖MOS特色特性解讀

3. 重刪及壓縮，節省儲存空間及頻寬

隨著企業業務的不斷增長，需要儲存的資料越來越多。與此同時，企業可能面臨如下問題：

歷史資料中可能存在大量的冗餘資料。冗餘資料的增長消耗了非必要的儲存資源，導致儲存資源浪費，儲存成本也隨之增加。

儲存容量的增加帶來了維護管理的複雜，增加了運維成本及其他成本。

杉巖MOS支援資料重刪、壓縮（包括物件壓縮及資料的傳輸壓縮）兩種功能。重刪功能透過刪除杉巖MOS中的冗餘資料塊，減少冗餘資料在站點內佔用的物理儲存容量，從而滿足日益增長的資料儲存需求。壓縮功能可在資料儲存時對資料桶進行壓縮，以及在多站點的場景下，將資料壓縮後再傳輸，節省儲存容量及頻寬。 

配置建議：

在檔案共享訪問等場景，建議開啟重刪和壓縮。

在備份場景下，推薦啟用資料壓縮功能。

多站點同步場景下，建議開啟資料傳輸壓縮。

注意事項：重刪和壓縮過程會佔用CPU資源，所以重刪壓縮的資料越多，對系統效能的影響越大。

4. 資料分級儲存，降低歸檔成本

藍光儲存為客戶提供低成本、高可靠、長週期、大容量的冷資料儲存服務，適用於海量、訪問頻次低的非結構化資料的存檔和管理。

資料的訪問頻率通常會隨著時間的推移由熱轉冷，龐大的冷資料鮮少被再次呼叫，若繼續存在物件儲存中，成本非常高。杉巖MOS支援對資料進行全生命週期管理，支援冷熱資料介質分層遷移 。基於成本考慮，可將冷資料自動歸檔至公有云或藍光儲存，實現大容量、低成本、長期儲存資料。

配置建議：

重要資料建議備份至公有云。

結合生命週期策略，將冷資料歸檔至公有云或藍光儲存中。

5. 生命週期清除，降低儲存成本

杉巖MOS支援資料生命週期管理，使用者可透過設定資料生命週期管理策略，定期自動清理無用資料，釋放儲存空間。

配置建議：

針對無用資料，建議設定生命週期過期刪除策略，定期刪除無用資料。

統一設定桶的生命週期執行時間，可以將執行時間設定在資料流量較低的時間段，降低生命週期執行對業務的影響。

6. 傳統SAN納管，降低採購成本

杉巖MOS支援透過將客戶舊有的IP/FC-SAN裝置掛載到MOS儲存節點，透過運維介面一鍵配置， 將SAN裝置虛擬成MOS的儲存池，將其雲化為物件儲存裝置，保護客戶歷史投資，降低採購成本。

圖3 將SAN裝置虛擬成MOS的儲存池，利舊雲化

7. NAS/S3異構技術，降低管理成本

在企業使用者從使用傳統的檔案儲存到使用物件儲存的應用改造過程中，主要有以下幾個步驟：

業務系統程式碼改造——資料遷移——資料校驗——業務系統停機升級——增量資料遷移與校驗——正式上線。

上述過程中，工作量最大的往往不是業務系統的程式碼改造，而在於資料的遷移與校驗。在資料遷移的過程中，涉及到資料的傳輸，檔案數量及內容的校驗，每一項工作都會消耗大量的時間與人力，為業務的割接上線帶來了許多阻力。

NAS/S3異構技術，實際上就是物件儲存系統對原有NAS/S3進行納管，從而能夠透過物件儲存介面（S3）訪問到NAS/S3中的資料，而無需資料遷移 。在業務上線的過程中，省去了資料遷移與校驗的過程，大大縮短了業務上線的時間視窗，實現業務系統的快速切換與上線。

在經濟趨緩的背景下，如何節省企業儲存成本，已經成為最佳化企業IT開支的重要環節。杉巖MOS憑藉優異的產品效能和功能特性，例如重刪及壓縮、資料分級儲存、生命週期清除、傳統NAS納管和NAS/S3異構技術，在幫助企業提高儲存空間利用率、保護歷史投資、節省儲存空間和採購成本等方面有著獨特的價值優勢。

深耕分散式儲存科技創新，杉巖資料幫助企業夯實資料底座、挖掘資料價值、釋放資料潛能，助力企業“降本增效”，從容應對大資料挑戰！