海量圖片儲存,杉巖分散式物件儲存輕鬆應對
當今世界,網際網路、大資料應用迅猛發展,物聯網、人工智慧、雲端計算 技術日新月異,隨之而來的是各種企業和個人應用持續不斷地產生億級甚至是百億級的海量小檔案。這些小檔案的後設資料管理、儲存效能以及訪問效率等問題因而成為學術界和工業界公認的難題。
例如,國內目前最大的電商網站淘寶儲存的商品圖片超過 200 億張,這些檔案的平均大小僅為 15KB 左右,國外著名的社交網站Facebook 儲存的圖片總量更是超過了600億張;線上影片播放服務中,每個影片會被切片伺服器分割成 1MB 左右的分片檔案,一部動畫電影所包含的圖片檔案可能會超過 500 萬張,平均大小為15KB;一些線上閱讀圖書每頁內容均會被掃描成大約幾十KB的圖片檔案……
在非結構化資料和新應用快速增加的情況下,物件儲存更能滿足企業的業務需求。為此,杉巖資料推出了強大的物件儲存產品,解決企業對海量圖片、影片等非結構資料儲存需求,以便更好的挖掘非結構化資料的價值。
端到端的Scale-Out擴充套件,實現大資料積累
分散式物件儲存總容量可達到數百PB級規模,單個名字空間也可以擴充套件到整個硬體儲存總空間容量,不需要割裂成多個隔離空間,並且在檔案數量上會有更大的擴充套件,檔案數量可達百億級,是真正的端到端Scale-Out快速擴充套件。它可以滿足業務系統整個生命週期的儲存容量需求,無需掛載目錄和調整業務系統,讓IT人員更加關注業務價值本身。
去中心化儲存架構,利於資料的長期維護
物件儲存採用基於通用x86伺服器+分散式物件儲存軟體的去中心化技術架構,物件儲存軟體將多臺伺服器透過乙太網連線,構建成一個統一的儲存資源池,可動態增加或刪除伺服器實現容量的調整,資料能夠自動均衡,實現整個儲存的滾動升級。
三級資料可靠性體系,保障業務高可用
杉巖物件儲存提供了先進的三級資料可靠性體系,透過單叢集故障自愈、跨叢集容災、建立備份機制三大措施來確保企業資料安全可靠,從而保障業務的高可靠和高可用性。
· 第一級:
在單叢集內透過副本機制進行資料放置,當出現故障時可以從副本中自動進行快速恢復。此外,還透過糾刪碼機制建立校驗塊,出現錯誤後可以自動進行計算恢復,從而保證叢集內資料的可靠性。
· 第二級:
在叢集多個區域故障的時候,提供跨叢集容災方案。支援二到六個資料中心的資料容災,包括雙中心或者是更復雜的方式建立儲存叢集,不同資料中心之間進行資料非同步傳輸。
· 第三級:
建立主儲存和備份儲存機制。透過按照指定的規則建立備份點,比如按時間緯度或業務變更時進行自動建立。當需要資料恢復時,可以快速透過備份點回退到原來的版本。另外,備份工作無需使用額外的備份軟體,同時備份儲存也可以作為容災使用。
提供高效的資料流轉與訪問架構
透過進行分支機構到主資料中心的資料匯聚,新增資料自動匯聚到主資料中心,實現資料統一管理和運維。當分支機構需要訪問資料時,可實現CDN內容分發網路效果,提升資料傳輸速率。針對網際網路應用還使用高安全性的S3協議技術,提供給外部的網際網路應用直接來訪問儲存。
內建檔名和標籤索引機制,實現毫秒級檢索
透過採用標籤系統,把檔案和相關的屬性標籤統一儲存到系統中,然後在本地建立這種檔名和屬性的索引庫,從而實現資料毫秒級高速檢索,滿足更多業務需求。
物件儲存+AI,創造無限可能
在完成大量非結構化資料積累後,企業可以透過結合AI先進的資料分析與挖掘技術,發揮海量資料背後的價值,為更多智慧化的新業務系統提供強勁助力,支撐企業業務發展。
科技世界日新月異,雲、大資料、人工智慧等新興技術的發展和普及快到讓人驚歎。杉巖資料將一直專注軟體定義儲存領域的技術與創新,為企業使用者提供資料儲存強勁支撐,幫助企業更好、更快、更省心的迎接美好的未來。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69956769/viewspace-2669251/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 杉巖海量圖片分散式儲存解決方案分散式
- 杉巖海量物件儲存系統完美替代Documentum物件
- 杉巖分散式儲存解決方案分散式
- 儲存成本日漸攀升?杉巖MOS海量物件儲存有絕招物件
- 杉巖海量資料儲存解決方案
- 杉巖:淺談物件儲存和塊儲存區別物件
- 杉巖PACS影像系統分散式儲存架構分散式架構
- 海量非結構化資料儲存難題 ,杉巖資料物件儲存完美解決物件
- 杉巖資料:海量智慧儲存,打造新基建數字底座
- 杉巖物件儲存當底座,IPFS:這下穩了物件
- DAOS 分散式非同步物件儲存|儲存模型分散式非同步物件模型
- 分散式儲存ceph 物件儲存配置zone同步分散式物件
- 杉巖海量智慧儲存加速探秘海洋,感知藍色星球之美
- FastDFS+Nginx搭建分散式圖片儲存ASTNginx分散式
- 4.5PB!杉巖物件儲存中標天威視訊“中心儲存系統建設”物件
- 圖片處理能力提升50%,杉巖智慧儲存是如何做到的?
- 杉巖資料安全儲存解決方案
- php圖片上傳之分散式儲存FastDFSPHP分散式AST
- CEPH分散式儲存搭建(物件、塊、檔案三大儲存)分散式物件
- 版本更新|杉巖MOS海量物件儲存上新,多維度重磅升級和最佳化!物件
- 儲存圖片
- 物件儲存潛力無限 杉巖資料分享創新之道物件
- 杉巖物件儲存 讓資料價值賦能企業智慧物件
- 杉巖資料私有云儲存解決方案
- 圖片叢集分散式儲存和負載均衡分散式負載
- 杉巖引領國產分散式儲存廠商,堅持國產化技術路線分散式
- 杉巖:雲原生時代,容器持久化儲存方案選對了嗎?持久化
- 杉巖物件儲存“牽手”CDN 全新釋放內容流量價值物件
- Redis 分散式儲存Redis分散式
- HDFS分散式儲存分散式
- 分散式儲存概述分散式
- 杉巖海量物件儲存(SandStone MOS)V5.4版本釋出,新增/最佳化多項功能物件
- 杉巖資料企業雲端儲存解決方案
- Activiti 儲存圖片
- php+gridfs+varnish+nginx 搭建分散式圖片儲存PHPNginx分散式
- 塊儲存 檔案儲存 物件儲存物件
- 華為雲物件儲存服務OBS教你一招輕鬆解決儲存難題物件
- 智慧儲存支撐,杉巖MOS助國產大矽片跑出加速度