杉巖資料打造智慧處理引擎概念,引領資料應用新風潮

華夏大視野發表於2021-07-15

在資料海量增長和產業+資料浪潮地推動下,企業需要在各類場景下高效儲存和使用資料,對儲存系統的要求也從簡單的資料儲存和管理,提升到了對資料的價值挖掘。特別是在AI,大資料應用開始在行業市場逐步普及的當下,產生了更多的影片、圖片等非結構化的後設資料,如何高效使用資料是目前急需解決的問題。

當然,企業常規的儲存架構下,也可以實現“資料應用”目的,但是由於儲存系統與計算系統分離,當需要進行資料計算時,需要先檢索後設資料,在儲存系統中把檔案呼叫出來,傳輸到計算系統中進行計算,最後的計算結果再傳輸到上層應用中進行處理,或者返回儲存平臺中儲存下來。

若依此架構,企業就需要購買和運維兩套系統,給計算功能分配專用算力,佔用額外資源,增加企業成本。 並且平臺間介面眾多,程式設計複雜,資料在各個系統中多次流轉,極大降低了資料的使用效率。

有沒有更高效的方案可以解決此類問題?

杉巖資料作為一家軟體定義儲存企業,創新性的提出了智慧資料處理引擎的概念。在計算機的世界裡,所有應用最後一定是基於結構化資料進行資料計算,所以AI等功能實現一定要將非結構化資料轉化為結構化資料。

杉巖資料提出的智慧資料處理引擎理念就好比我們手機的應用商城,當企業需要某類資料處理應用時,可以將對應外掛在杉巖資料的儲存平臺上安裝,在儲存側將原始資料轉換為應用可以直接使用的結構化資料。這樣不需要增加額外的計算平臺,有效控制企業的系統建設成本。

企業不僅可以根據資料應用習慣,按需增加常用的智慧外掛,也可以根據業務形態的變化,變更智慧資料處理應用,不額外佔用儲存空間, 系統中能夠直接實現計算功能,避免資料在各個系統中多次傳輸,就能大大 提升資料的使用效率,減少資源浪費,資料應用更加簡便、快捷。

這個創新並不只是一個設想,目前杉巖資料物件儲存V6版本中已經擁有了該功能。目前可安裝的智慧外掛就包括證件識別、圖片格式壓縮/轉換、PDF檔案檢索、檔名解析等。

實施案例

信維通訊

關鍵詞

解析圖片,個性化標籤儲存檔案

定製化高效能資料檢索

如圖片無法顯示,請重新整理頁面

信維通訊是世界領先的泛射頻元器件提供商。手機品牌客戶要求在質檢中產生的檢測圖片,必須進行長期儲存,至少半年以上。杉巖物件儲存系統透過內建AI智慧資料處理引擎,結合解析外掛將圖片進行檔名解析,並依據解析結果將圖片打上定製標籤,實現基於標籤檢索圖片的功能,如用時間戳、機臺號、SN小條碼號,故障描述等標籤分類儲存圖片,滿足MES系統定製化檢索的需求。MES系統的檢索效率提升10倍,檢索速度由秒級提升到毫秒級。相比SAN或者NAS儲存,總成本降低了50%。 

如圖片無法顯示,請重新整理頁面

聯測優特半導體

關鍵詞

自動標籤圖片,建立索引

視覺化檢索,百億級檔案秒級檢索

影像資料轉碼,降低至20%儲存空間

如圖片無法顯示,請重新整理頁面

聯測優特半導體(東莞)有限公司是全球半導體封裝測試行業的領軍企業。過去生產製程的圖片資料儲存在質檢伺服器的本地硬碟中,資料是分散管理模式。杉巖MOS海量物件儲存系統內建智慧資料處理引擎,將生產機臺生成的BMP格式檔案,數天後轉換為JPG格式以節省儲存空間,高效能實時轉碼影像資料成本大大降低,處理後的儲存容量需求下降為原始需求的20%

同時,儲存系統自動給圖片打上產線號、工序號、晶片ID等標籤,並建立索引,提供資料的標籤管理和檢索服務,使用者可按需進行視覺化檢索,百億級檔案秒級檢索。

如圖片無法顯示,請重新整理頁面

某動力研究機構

關鍵詞

OCR識別外掛,識別PDF內容

如圖片無法顯示,請重新整理頁面

某動力研究機構是國家級動力試驗研究中心 。該單位檔案掃描件多是PDF格式,業務端無法基於PDF中的文字內容進行檢索,查閱資料不便。透過杉巖MOS智慧資料處理引擎整合的OCR識別外掛,該單位可以根據需要設定檔案處理策略,儲存自動呼叫OCR識別功能,將單層PDF檔案(文字不可讀取)轉為雙層PDF檔案(文字可讀取),然後基於文字內容建立全文索引,方便快速檢索查閱,充分發揮檔案資料的知識價值。

如圖片無法顯示,請重新整理頁面

虹軟科技

關鍵詞

影片抽幀,支援深度應用

圖片縮略,輕鬆預覽導航

如圖片無法顯示,請重新整理頁面

虹軟科技股份有限公司是計算機視覺行業領先的演算法服務提供商及解決方案供應商,其視覺人工智慧演算法廣泛應用於多家全球知名品牌手機。虹軟擁有一套資料管理核心系統,針對海量影片及圖片檔案進行儲存,公司各部門員工透過客戶端對影片、圖片進行查詢和預覽過程時,需要下載源影片、源圖片,由於影片及圖片較大,佔據大量頻寬,影響客戶端併發預覽及AI訓練效率。

杉巖物件儲存智慧處理解決方案為客戶提供圖片處理,圖片處理外掛透過對源圖片進行縮略處理,提供一定的預覽功能,透過這些圖片作為使用時的導航。影片截幀外掛在源影片連續變化的畫面中抽出單幅畫面,並自定義設定字尾名稱進行儲存,抽幀後的圖片可用於製作影片封面、影片稽核、行為識別、影片結構化等場景。這樣避免了客戶端預覽時下載源圖片、源影片資料,獲得更好的資料訪問及處理效率。使用智慧資料處理引擎可以提升伺服器的利用價值,充分發揮出硬體剩餘效能,降低整體業務成本。

如圖片無法顯示,請重新整理頁面

杉巖資料智慧資料處理引擎上的外掛採用開放式的可插拔式設計,系統可以隨時安裝和解除安裝外掛,可以根據使用者的需求和資料使用習慣,支援與第三方智慧處理軟體廠商合作,靈活開放地接入更多優秀的資料處理能力,開發企業專屬的資料應用功能。

智慧處理引擎的誕生是杉巖資料與企業需求共創的結晶,杉巖資料持續不斷地升級技術,並且不斷提升自身對使用者需求的洞察力,杉巖資料認為有價值的儲存系統一定不是“炫技式“堆砌先進技術,從使用者需求出發,幫助客戶最大化地挖掘資料價值,技術與客戶洞察結合,才能誕生出優秀的儲存產品。


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69984952/viewspace-2781422/,如需轉載,請註明出處,否則將追究法律責任。

相關文章