杉巖海量圖片分散式儲存解決方案

杉巖資料發表於2019-12-23

隨著網際網路、雲端計算及大資料等資訊科技的發展,越來越多的應用依賴於對海量資料的儲存和處理,如智慧監控、電子商務、地理資訊等,這些應用都需要對海量圖片的儲存和檢索。由於圖片大多是小檔案(80%大小在數MB以內),以GFS、HDFS為代表的適用於流式訪問大檔案的分散式儲存系統,若直接用來儲存圖片,由於後設資料膨脹,在擴充套件性和效能方面均存在嚴重問題。

為了解決HDFS在小檔案儲存方面的問題,通常的做法是先將很多小檔案合併成一個大檔案再儲存到HDFS,同時為這些小檔案建立索引,以便進行快速存取。典型技術包括Hadoop自帶的Archive、SequenceFile,但均需要使用者自己編寫程式,實現小檔案的合併。為了實現小檔案合併對使用者的透明,需從系統層面解決HDFS小檔案問題。論文針對具體應用場景進行了探索,但不具有通用性。

SandStone MOS海量圖片解決方案

對於海量圖片資料的儲存問題,杉巖海量物件儲存(SandStone MOS)解決方案採用去中心化分散式架構,同時利用軟體定義的方式實現了單一名字空間條件下數百PB級規模的容量擴充套件,業務可以隨時隨地訪問而不受資料儲存位置的限制。

在提升海量小檔案訪問效能方面,SandStone MOS利用雜湊計算實現了數億級檔案的高效訪問。針對檔案檢索困難,SandStone MOS支援標籤功能,檔案儲存時會自動設定標籤,從而更好地與業務結合,滿足高效檢索。

此外,SandStone MOS在易用性與可維護性方面也超越了同級別產品,其採用“x86通用伺服器+儲存軟體”的分散式解耦架構,將底層儲存空間與上層業務邏輯空間進行分離,軟硬體的升級不會影響到整個系統的正常執行。

即使系統有再多應用更新,也不會影響儲存空間的使用。值得一提的是,SandStone MOS首創的分散式儲存資料盤漫遊功能,可以幫助企業使用者漸進式的進行老舊硬體裝置更換,不影響業務的正常執行。

在物件儲存領域的專注與持續創新,換來的是行業的高度認可。去年8月,杉巖資料成為首家透過Intel中國雲端計算創新中心測試併發布報告的軟體定義儲存廠商。

杉巖海量圖片分散式儲存解決方案

與此同時,杉巖資料作為國家資訊化標準委員會雲端計算標準工作組成員單位及中國開源雲聯盟理事單位,先後參與了分散式儲存國家標準的制定工作及Ceph行業白皮書的編寫工作。

如今,物件儲存正煥發出更大的生命力,一場儲存革命也已開啟。以杉巖資料為代表的創新型儲存廠商,正透過不斷深耕物件儲存領域,幫助企業構建更加智慧的IT基礎設施,推動傳統儲存朝著更高效、更集約、更易用的方向全面演進。


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69956769/viewspace-2670027/,如需轉載,請註明出處,否則將追究法律責任。

相關文章