海量圖片儲存,杉巖分散式物件儲存輕鬆應對

杉巖資料發表於2019-12-18

當今世界,網際網路、大資料應用迅猛發展,物聯網、人工智慧、雲端計算 技術日新月異,隨之而來的是各種企業和個人應用持續不斷地產生億級甚至是百億級的海量小檔案。這些小檔案的後設資料管理、儲存效能以及訪問效率等問題因而成為學術界和工業界公認的難題。

例如,國內目前最大的電商網站淘寶儲存的商品圖片超過 200 億張,這些檔案的平均大小僅為 15KB 左右,國外著名的社交網站Facebook 儲存的圖片總量更是超過了600億張;線上影片播放服務中,每個影片會被切片伺服器分割成 1MB 左右的分片檔案,一部動畫電影所包含的圖片檔案可能會超過 500 萬張,平均大小為15KB;一些線上閱讀圖書每頁內容均會被掃描成大約幾十KB的圖片檔案……

海量圖片儲存,杉巖分散式物件儲存輕鬆應對

在非結構化資料和新應用快速增加的情況下,物件儲存更能滿足企業的業務需求。為此,杉巖資料推出了強大的物件儲存產品,解決企業對海量圖片、影片等非結構資料儲存需求,以便更好的挖掘非結構化資料的價值。

端到端的Scale-Out擴充套件,實現大資料積累

分散式物件儲存總容量可達到數百PB級規模,單個名字空間也可以擴充套件到整個硬體儲存總空間容量,不需要割裂成多個隔離空間,並且在檔案數量上會有更大的擴充套件,檔案數量可達百億級,是真正的端到端Scale-Out快速擴充套件。它可以滿足業務系統整個生命週期的儲存容量需求,無需掛載目錄和調整業務系統,讓IT人員更加關注業務價值本身。

去中心化儲存架構,利於資料的長期維護

物件儲存採用基於通用x86伺服器+分散式物件儲存軟體的去中心化技術架構,物件儲存軟體將多臺伺服器透過乙太網連線,構建成一個統一的儲存資源池,可動態增加或刪除伺服器實現容量的調整,資料能夠自動均衡,實現整個儲存的滾動升級。

三級資料可靠性體系,保障業務高可用

杉巖物件儲存提供了先進的三級資料可靠性體系,透過單叢集故障自愈、跨叢集容災、建立備份機制三大措施來確保企業資料安全可靠,從而保障業務的高可靠和高可用性。

· 第一級:

在單叢集內透過副本機制進行資料放置,當出現故障時可以從副本中自動進行快速恢復。此外,還透過糾刪碼機制建立校驗塊,出現錯誤後可以自動進行計算恢復,從而保證叢集內資料的可靠性。

· 第二級:

在叢集多個區域故障的時候,提供跨叢集容災方案。支援二到六個資料中心的資料容災,包括雙中心或者是更復雜的方式建立儲存叢集,不同資料中心之間進行資料非同步傳輸。

· 第三級:

建立主儲存和備份儲存機制。透過按照指定的規則建立備份點,比如按時間緯度或業務變更時進行自動建立。當需要資料恢復時,可以快速透過備份點回退到原來的版本。另外,備份工作無需使用額外的備份軟體,同時備份儲存也可以作為容災使用。

提供高效的資料流轉與訪問架構

透過進行分支機構到主資料中心的資料匯聚,新增資料自動匯聚到主資料中心,實現資料統一管理和運維。當分支機構需要訪問資料時,可實現CDN內容分發網路效果,提升資料傳輸速率。針對網際網路應用還使用高安全性的S3協議技術,提供給外部的網際網路應用直接來訪問儲存。

內建檔名和標籤索引機制,實現毫秒級檢索

透過採用標籤系統,把檔案和相關的屬性標籤統一儲存到系統中,然後在本地建立這種檔名和屬性的索引庫,從而實現資料毫秒級高速檢索,滿足更多業務需求。

物件儲存+AI,創造無限可能

在完成大量非結構化資料積累後,企業可以透過結合AI先進的資料分析與挖掘技術,發揮海量資料背後的價值,為更多智慧化的新業務系統提供強勁助力,支撐企業業務發展。

科技世界日新月異,雲、大資料、人工智慧等新興技術的發展和普及快到讓人驚歎。杉巖資料將一直專注軟體定義儲存領域的技術與創新,為企業使用者提供資料儲存強勁支撐,幫助企業更好、更快、更省心的迎接美好的未來。


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69956769/viewspace-2669251/,如需轉載,請註明出處,否則將追究法律責任。

相關文章