圖片處理能力提升50%，杉巖智慧儲存是如何做到的？

一提到物件儲存，大家多半會聯想到“儲存海量檔案”。但隨著近幾年大資料、雲端計算等應用場景的廣泛部署，客戶對業務的敏捷性要求越來越高，儘可能地精簡業務處理流程、提高業務處理效率變得更加重要。面對這些需求變化，身處幕後的儲存裝置已經不能僅僅侷限於“儲存”這個基本要求。一些領先的物件 已經開始思考，如何將原本外接的業務處理能力整合到儲存上來，讓儲存做“更多事情”，結合業務需求來賦能應用，幫助客戶實現更大價值。

為了滿足部分客戶在海量圖片處理場景下對業務敏捷性和處理效率的要求，SandStone MOS在V5.4版本中新增圖片處理功能，使圖片處理的全業務流程均在物件儲存內部完成，讓流程處理從“繁瑣低效”走向“簡潔高效”。本文即對該特性進行專題解讀。

一、圖片處理業務導致海量資料高吞吐

隨著各類企業文件、圖片和音影片等非結構化檔案的數量逐步從千萬級快速增長至數億級別，並呈現持續的指數級爆炸式增長，分散式物件儲存已逐步替代傳統NAS儲存，成為當今企業內非結構化資料儲存的標配。非結構化資料（尤其是圖片檔案），通常與企業的業務流程緊密相關。比如銀行的購房貸款審批業務，購房者提交的申請材料通常包含身份證、戶口本、個人收入證明及購房合同等各類檔案的掃描件，並以圖片的形式長期存檔。整個審批流程包含了對圖片的各種處理需求，比如透過縮圖來提高瀏覽效率、透過打水印以便於追溯圖片來源，以及透過調整圖片尺寸來適配不同客戶端顯示規格等。若要滿足客戶對圖片儲存、提取、處理這一系列需求，目前普通的物件儲存系統是如何實現的呢？

圖1.基於普通物件儲存的圖片處理業務架構

如圖1所示，普通的物件儲存系統僅提供圖片檔案的儲存服務，當業務系統需要獲取處理後的圖片（如縮圖）時，大致需要經歷以下4個步驟：

1.      業務應用向物件儲存傳送讀取原始圖片的請求

2.      業務應用下載原始圖片到業務伺服器

3.      業務應用上傳原始圖片到圖片處理系統以請求縮圖

4.      業務應用獲取圖片處理系統返回的原始圖片的縮圖

顯而易見，整個過程中儲存系統和圖片處理系統要進行頻繁互動。當業務實際上線執行後，由於原始圖片一般為高解析度、高畫質晰度的大檔案，上述步驟2和步驟3通常會給業務網路帶來巨大的流量壓力，佔用大量的網路頻寬；另外因為流程步驟較多，這也會增加系統響應時間，導致客戶訪問體驗很差。

如上所述，物件儲存系統與圖片處理系統各自獨立，前者只負責“存”，後者只負責“處理”，而且中間的“提取”過程效率低下。對使用者而言，這顯然不是最佳的解決方案。

杉岩基於多年行業實踐，準確地捕捉到了這一長期存在的痛點，並提出了針對性的解決方法。

圖2.基於SandStone MOS的圖片處理業務架構

如圖2所示，SandStone MOS透過在物件儲存系統內部整合圖片處理功能，省去了圖片處理過程中將原始圖片在業務網路上來回複製的過程。這樣做的好處是：既免除了對業務網路的頻寬壓力、提升了系統響應速度和互動體驗；還能夠充分發揮儲存節點富餘的CPU資源的計算能力，確儲存儲效能的高效利用。

二、整合圖片處理能力，提升儲存智慧化

既然瞭解了SandStone MOS在影像處理方面的獨到之處，那麼，它是如何實現的呢？

圖3.SandStone MOS圖片處理業務架構的實現方式

如圖3所示，SandStone MOS儲存系統最底層為通用的伺服器硬體，OSD負責管理伺服器上的每個儲存硬碟，物件儲存閘道器負責S3物件儲存介面的邏輯封裝以及與OSD的資料進行讀寫互動，負載均衡器負責實現業務讀寫請求在多個物件儲存閘道器間的負載均衡路由及高可用。

當業務應用經過S3 SDK傳送讀寫請求到負載均衡器時，負載均衡器根據指定的路由演算法（如輪詢）將請求分配到對應的物件儲存閘道器，物件儲存閘道器再與OSD互動完成資料的讀寫。

此外，SandStone MOS的物件儲存閘道器模組除了提供S3物件訪問協議，還支援常用的圖片處理功能，主要包括圖片轉碼、圖片壓縮、縮圖及圖片文字水印，具體規格如下。

1.  圖片轉碼介面支援將圖片轉換成JPG、PNG、BMP、WEBP、GIF、TIFF等格式

2.  圖片壓縮介面支援 JPEG、PNG 格式。瘦身後畫質不變，解析度不變，格式不變，檔案體積大幅縮小

3.  縮圖介面支援圖片格式轉換、縮略、剪裁功能。只需要填寫幾個引數，即可對圖片進行縮略操作，生成各種縮圖，介面可支援處理的原圖片格式包括：PSD、JPG、PNG、BMP、WEBP、GIF、TIFF

4.  文字水印介面支援圖片型別包括：JPEG、PNG、PSD、GIF、TIFF、BMP

當物件儲存系統整合了圖片處理功能後，業務應用透過標準的S3訪問入口，即可完成圖片的儲存和處理過程，業務應用只需要在原有的S3讀取介面增加相應的圖片處理引數，就能獲取處理後的圖片。

三、媒體處理能力提升50%，幫助客戶提升效益

簡化業務架構，降低硬體成本

在普通物件儲存的業務架構中，因為物件儲存自身不支援圖片處理功能，圖片的儲存和處理分別需要訪問物件儲存服務地址和圖片服務地址，這導致業務邏輯需要針對兩套系統做複雜的邏輯處理，業務處理的效率低下。透過使用SandStone MOS分散式物件儲存系統，業務應用只需要維護一個訪問地址和SDK就可以，整體架構得到了極大的簡化，有效精簡了IT裝置，降低硬體成本。

釋放網路頻寬壓力，保障效能穩定

SandStone MOS透過在物件儲存系統內部整合圖片處理功能，省去了圖片處理過程中需要將原始圖片在業務網路上來回複製的過程，減少了業務網路的頻寬壓力，避免了由於頻寬擠佔導致其他業務系統訪問卡頓甚至癱瘓的風險，有效保障效能的持續穩定。

極大縮短圖片處理請求時間，讓業務更敏捷

由於避免了跨業務網路訪問，即省去了原始圖片在儲存系統和圖片處理系統間的互動過程，圖片在SandStone MOS內部可就近完成處理任務。對比普通物件儲存的方案，在相同算力的前提下，SandStone MOS的圖片處理整體效率可以提升高達50%以上，極大的保障了業務敏捷性，幫助客戶從容應對海量圖片場景下的快速處理需求。

充分發揮富餘CPU算力，提高硬體利用率

一般在業務壓力比較低的場景下，或是出於對儲存系統擴充套件性規劃的考慮，伺服器硬體的CPU資源利用率通常只有20%-30%左右，SandStone MOS的圖片處理業務架構不僅可以減少跨網路的資料複製，提升圖片處理效率，還能夠充分發揮儲存節點上富餘CPU資源的計算能力，確保多業務場景下有充足的算力保障。

SandStone MOS透過整合圖片處理功能，在便捷儲存海量檔案的同時，讓圖片處理的全業務流程在物件儲存內部完成，避免了傳統方案中儲存與圖片處理系統的頻繁互動，不僅能很好地完成“儲存”這一基本要求，還能結合場景需求，在儲存內部高效完成圖片處理過程，幫助使用者實現更大價值。