杉巖海量物件儲存(SandStone MOS)V5.4版本釋出,新增/最佳化多項功能

杉巖資料發表於2020-02-18

作為一家專注於產品自主研發的企業級 ,杉巖資料始終堅持以客戶需求為導向,持續完善儲存產品及解決方案,透過版本迭代不斷豐富產品特性,不斷提升產品競爭力。杉巖海量物件儲存( SandStone MOS )是面向企業級海量非結構化資料的分散式物件儲存產品,經過長時間的產品打磨, SandStone MOS 的功能特性越來越完善,與應用場景的融合越來越深入,並在應用實踐中持續贏得客戶的信賴。

為了進一步滿足能源、金融、醫療等行業客戶的需求, SandStone MOS 的新版本針對客戶關注的問題進一步完善了功能特性,並已於近期正式釋出,本文即對該版本的價值特性進行專題解讀。


1. 生命週期管理進一步增強


標籤精確控制的物件級生命週期管理

資料的生命週期管理是體現儲存智慧化的重要特性之一,使用者根據不同業務系統的資料特點,透過 SandStone MOS 實現資料的儲存、遷移、歸檔、刪除等管理操作。在某客戶的應用場景中,業務應用將多種業務的日誌檔案儲存到同一個桶內,後期按照規定對過期的日誌檔案進行刪除或者歸檔。但是,由於不同業務的日誌檔案過期時間不一樣,需要區分桶內不同日誌檔案的過期時間,以便定期自動刪除或者歸檔。而 SandStone MOS 原有的生命週期物件過濾方式只有兩種:一是對整個桶設定時間規則,到期將桶內所有物件刪除或者歸檔;二是按照桶內物件的字首進行正則匹配來實現刪除或者歸檔,這都無法滿足客戶需求。為此, SandStone MOS 新增了支援基於物件標籤過濾生效物件的特性,透過該功能,客戶可以將日誌檔案根據所屬業務的不同打上不同的標籤存下來,並在桶內根據標籤配置相應的過期時間,每個日誌檔案到期後自動刪除或者歸檔。這樣一來,既實現生命週期管理更加精細化,同時提升了儲存系統的資源利用率,也減少了運維壓力。


image.png

 

冷儲存統一管理

客戶在進行資料生命週期管理時,需要對歸檔檔案長期(數以十年計)儲存,並對儲存的安全性、合規性以及成本等方面提出了更嚴格的要求。按照以往的策略,歸檔資料儲存在機械硬碟或磁帶庫等儲存介質上,但是想要達到數以十年計的長期儲存,其成本是非常不可觀的。為此, SandStone MOS 在新版本中支援將藍光儲存作為冷池納管,支援將冷資料按照策略歸檔到藍光儲存,同時支援冷資料被訪問時自動回存到磁碟儲存,並實現熱 / / 冷資料的統一名字空間管理。透過該特性,光儲存介質的優勢充分顯現出來,為客戶帶來了多方面的收益。一是解放熱池效能,提高上線儲存池效能。二是降低能耗成本,兼顧安全性、效益和成本。三是降低維護成本,光碟儲存壽命可達 100 年,長期存放無需維護。四是滿足合規需求,光碟介質是不可更改的儲存介質,保證資料寫入的真實性。


image.png


 2.  功能介面更加豐富


阿里雲 OSS 服務介面

阿里雲物件儲存服務( Object Storage Service ,簡稱 OSS )是阿里雲對外提供的海量、安全、低成本和高可靠的雲端儲存服務。為了幫助客戶實現歷史業務系統的對接和升級, SandStone MOS 新增對 OSS 協議基本介面(包括桶建立、物件上傳、物件查詢、物件下載及物件刪除介面)的支援,杉巖也是業內率先支援阿里雲 OSS 協議的企業級物件 。

追加寫資料實時可讀

針對影片監控場景對準實時回放的要求, SandStone MOS 新增了追加寫介面支援的特性,每次追加操作完成後物件檔案立即可讀。在舊版本中,監控影像按照普通分片方式上傳,儲存系統不支援對剛剛上傳內容的立即讀取,這在實時性上是無法滿足客戶需求的。透過追加寫介面支援,儲存系統在每次分片上傳後更新一次後設資料資訊,保證業務可以讀取最新上傳的分片資料,在業務層面實現了準實時回放,滿足客戶對於快速響應的要求。

跨桶資料批次複製

在管理海量資料時,批次操作往往能夠顯著提升管理的便捷性。某客戶出於安全性考量,在儲存系統中專門新建一個桶用來儲存各個業務所產生的重要檔案,並作為公司財產長期儲存。此過程中,在業務流程(比如報銷審批)結束之前,這些檔案歸各業務所有,一旦流程閉環,這些檔案將轉變為公司財產,由原來的桶空間遷移到新建的桶空間進行歸檔,這就涉及到了物件的批次刪除(舊版本已支援)和批次複製功能。為此, SandStone MOS 在新版本中又增加了批次複製功能,實現兩個不同的桶之間物件資料的批次複製操作,簡化了業務邏輯,提升了業務效能,讓管理操作更加便捷。


image.png



3.  共享策略更加完善


精細化授權策略

資料因共享而產生價值,豐富的資料共享策略是充分發揮資料價值的保障。在這方面, SandStone MOS 在之前版本中已經實現了單個桶空間內的所有物件共享、根據物件字首匹配來過濾生效物件等特性,在使用過程中也得到了客戶的積極反響。但是,當多種業務的資料匯聚到相同的桶空間,同時又需要透過許可權控制管理各個業務的檢視時,現有的共享策略無法滿足需求。為此, SandStone MOS 在新版本中做了最佳化,新增支援按照物件標籤過濾生效物件並共享,即基於物件標籤精確控制授權物件。使用者在配置桶共享控制策略時,可以將標籤作為過濾條件,控制擁有某類標籤的物件檔案被某些使用者訪問或者拒絕某些使用者的訪問。這樣一來,使用者能夠根據需要在存入物件時打上不同的標籤,後續再根據標籤內容將物件篩選出來並執行統一的共享策略,讓共享方式更加精細化,讓共享策略更加全面。


 

FTP 多使用者許可權管理

對海量資料的儲存、共享和利用,往往涉及多種業務應用,需要豐富的介面型別提供支撐。 SandStone MOS 在舊版本中基於 S3 介面封裝支援 FTP 介面,可以實現資料呼叫,但不支援多使用者間的共享及授權管理。當客戶提出此類需求後,我們在新版本中補齊了這一特性,實現多個 FTP 使用者之間的內容共享和授權管理。這樣一來,多個業務應用可以對應多個 FTP 賬戶,不同 FTP 賬戶之間透過共享許可權進而對資料的可見範圍進行設定,使得介面服務模組更加完善,資料共享的方式更多元,也更好的滿足多樣化場景對接需求。


4.  管理運維更加簡單


多站點同步 QoS 控制

對於大型企業而言,其 IT 系統架構往往由多個跨地域的資料中心構成,要想實現跨地域、多站點的統一便捷管理,多站點同步功能承擔著重要角色。大部分客戶的多站點同步需要與其他業務一起共享企業公共的網路頻寬,為了避免儲存多站點同步任務擠佔過多頻寬導致業務效能不穩定,多站點同步 QoS 控制功能成為站點同步的一個基本功能需求。為了滿足業務需求、保證服務質量, SandStone MOS 在新版本中新增了站點同步支援配置同步時間段及同步流量控制,使用者可以根據業務應用的執行情況,對多個站點的同步時間段和流量大小進行同步控制。這樣一來,一是簡化了跨地域、多站點架構的同步配置操作;二是保證了業務效能,而且業務閒時可以充分利用空閒頻寬加速資料同步;三是更快地響應大規模業務調整,提高了效率。


image.png


微信告警通知

隨著越來越多的應用逐漸網際網路化,高度的敏捷性和易用性也是產品迭代的重要方向之一。為了方便使用者能夠 隨時隨地隨手 瞭解儲存資源的執行情況, SandStone MOS 在新版本中還增加了微信告警功能,運維人員透過介面設定,可以將儲存系統的告警資訊批次推送到選定的微信群組,讓群組內管理人員和運維人員能夠及時掌握裝置執行狀態。相比郵件告警而言,微信告警顯然更加實時,也更加人性化。


image.png


5.其他


智慧圖片處理

SandStone MOS 儲存的海量非結構資料中,有很多是圖片檔案。在實際的使用過程中,業務系統經常需要對圖片進行格式處理等操作,這些操作以往都是在業務系統中完成,讓業務系統開發變的複雜,而且消耗了原本就比較緊張的業務主機 CPU 資源。為此, SandStone MOS 在新版本中整合了智慧圖片處理功能,業務系統透過呼叫 S3 介面傳遞相關引數即可完成常用圖片格式處理功能(包括圖片轉碼、圖片壓縮、縮圖、打水印等)。這樣一來,圖片的儲存和處理全部由儲存系統完成,充分利用儲存伺服器的處理能力,業務系統的開發也得到簡化,提升了處理效率,也節省了緊張的業務主機 CPU 資源。

Elastic Search 賬號認證

在資料的獲取、儲存、檢索、共享等過程中,儲存系統的安全性一直都是客戶十分關注的內容。某客戶部署 SandStone MOS 並執行一段時間後,出於業務安全需要,其生產環境的 Elastic Search 叢集準備增加許可權認證功能,為此, SandStone MOS 在新版本中支援對接 Elastic Search 時使用賬號密碼認證,提高了系統安全性,使儲存與檢索軟體的內部安全得到了進一步加強,為資料資源的高可靠性增添了新的 鑰匙

 

總結

綜合前文所述,從資料生命週期管理、功能介面、資料共享策略、管理運維等五個方面對 SandStone MOS 的新增特性進行了介紹,新特性滿足了客戶在產品使用過程中提出的新需求,解決了應用實踐過程中湧現的新的痛點,幫助應對海量資料儲存管理過程中面臨的新的挑戰。

隨著業務資料逐漸向海量化、非結構化的方向發展,業務應用逐漸向複雜化、敏捷化的方向發展,儲存系統也必將向著智慧化、價值化、易用化的方向發展。杉巖也將一直堅守以客戶需求為導向這一根本準則,持續推動產品更新與迭代,為客戶提供更好的儲存產品、解決方案及服務。


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69956769/viewspace-2676112/,如需轉載,請註明出處,否則將追究法律責任。

相關文章