杉巖海量圖片分散式儲存解決方案
隨著網際網路、雲端計算及大資料等資訊科技的發展,越來越多的應用依賴於對海量資料的儲存和處理,如智慧監控、電子商務、地理資訊等,這些應用都需要對海量圖片的儲存和檢索。由於圖片大多是小檔案(80%大小在數MB以內),以GFS、HDFS為代表的適用於流式訪問大檔案的分散式儲存系統,若直接用來儲存圖片,由於後設資料膨脹,在擴充套件性和效能方面均存在嚴重問題。
為了解決HDFS在小檔案儲存方面的問題,通常的做法是先將很多小檔案合併成一個大檔案再儲存到HDFS,同時為這些小檔案建立索引,以便進行快速存取。典型技術包括Hadoop自帶的Archive、SequenceFile,但均需要使用者自己編寫程式,實現小檔案的合併。為了實現小檔案合併對使用者的透明,需從系統層面解決HDFS小檔案問題。論文針對具體應用場景進行了探索,但不具有通用性。
SandStone MOS海量圖片解決方案
對於海量圖片資料的儲存問題,杉巖海量物件儲存(SandStone MOS)解決方案採用去中心化分散式架構,同時利用軟體定義的方式實現了單一名字空間條件下數百PB級規模的容量擴充套件,業務可以隨時隨地訪問而不受資料儲存位置的限制。
在提升海量小檔案訪問效能方面,SandStone MOS利用雜湊計算實現了數億級檔案的高效訪問。針對檔案檢索困難,SandStone MOS支援標籤功能,檔案儲存時會自動設定標籤,從而更好地與業務結合,滿足高效檢索。
此外,SandStone MOS在易用性與可維護性方面也超越了同級別產品,其採用“x86通用伺服器+儲存軟體”的分散式解耦架構,將底層儲存空間與上層業務邏輯空間進行分離,軟硬體的升級不會影響到整個系統的正常執行。
即使系統有再多應用更新,也不會影響儲存空間的使用。值得一提的是,SandStone MOS首創的分散式儲存資料盤漫遊功能,可以幫助企業使用者漸進式的進行老舊硬體裝置更換,不影響業務的正常執行。
在物件儲存領域的專注與持續創新,換來的是行業的高度認可。去年8月,杉巖資料成為首家透過Intel中國雲端計算創新中心測試併發布報告的軟體定義儲存廠商。
與此同時,杉巖資料作為國家資訊化標準委員會雲端計算標準工作組成員單位及中國開源雲聯盟理事單位,先後參與了分散式儲存國家標準的制定工作及Ceph行業白皮書的編寫工作。
如今,物件儲存正煥發出更大的生命力,一場儲存革命也已開啟。以杉巖資料為代表的創新型儲存廠商,正透過不斷深耕物件儲存領域,幫助企業構建更加智慧的IT基礎設施,推動傳統儲存朝著更高效、更集約、更易用的方向全面演進。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69956769/viewspace-2670027/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 杉巖分散式儲存解決方案分散式
- 海量圖片儲存,杉巖分散式物件儲存輕鬆應對分散式物件
- 杉巖海量資料儲存解決方案
- 杉巖資料安全儲存解決方案
- 杉巖資料私有云儲存解決方案
- 杉巖資料企業雲端儲存解決方案
- 杉巖資料媒資CDN影片儲存解決方案
- 杉巖PACS影像系統分散式儲存架構分散式架構
- 杉巖海量物件儲存系統完美替代Documentum物件
- 杉巖資料企業級私有云儲存解決方案
- 海量非結構化資料儲存難題 ,杉巖資料物件儲存完美解決物件
- 杉巖資料非結構化資料儲存解決方案
- 儲存成本日漸攀升?杉巖MOS海量物件儲存有絕招物件
- 杉巖資料:海量智慧儲存,打造新基建數字底座
- 杉巖海量智慧儲存加速探秘海洋,感知藍色星球之美
- 圖片處理能力提升50%,杉巖智慧儲存是如何做到的?
- FastDFS+Nginx搭建分散式圖片儲存ASTNginx分散式
- 杉巖:淺談物件儲存和塊儲存區別物件
- 杉巖引領國產分散式儲存廠商,堅持國產化技術路線分散式
- php圖片上傳之分散式儲存FastDFSPHP分散式AST
- 杉巖:雲原生時代,容器持久化儲存方案選對了嗎?持久化
- 山東常林集團攜手杉巖資料:超融合+分散式儲存為業務提速分散式
- 圖片叢集分散式儲存和負載均衡分散式負載
- 智慧儲存支撐,杉巖MOS助國產大矽片跑出加速度
- 杉巖資料2020年分散式儲存技術研討會順利舉辦分散式
- 效能提升超17%!杉巖資料分散式儲存系統獲華為鯤鵬Validated認證分散式
- 版本更新|杉巖MOS海量物件儲存上新,多維度重磅升級和最佳化!物件
- php+gridfs+varnish+nginx 搭建分散式圖片儲存PHPNginx分散式
- 杉巖物件儲存當底座,IPFS:這下穩了物件
- 杉巖資料出席廣州銀醫資訊化交流會,分享分散式儲存行業建設經驗分散式行業
- 杉巖資料:工業視覺的智慧儲存之道視覺
- FastDFS 海量小檔案儲存解決之道AST
- 杉巖海量物件儲存(SandStone MOS)V5.4版本釋出,新增/最佳化多項功能物件
- 分散式儲存最全詳解(圖文全面總結)分散式
- 杉巖資料企業內容管理解決方案
- 資料儲存智慧化,杉巖打造新基建數字底座
- 杉巖牽手阿里雲,混合雲端儲存生根發芽阿里
- 打破儲存效能瓶頸,杉巖資料為AI提速增效AI