海量非結構化資料儲存難題 ,杉巖資料物件儲存完美解決
“過去幾年,大資料產業更多關注的是如何處理海量、多源和異構的資料,但我們必須承認這些只是冰山一角。目前,結構化資料僅佔到全部資料量的20%,其餘80%都是以檔案形式存在的非結構化和半結構化資料。伴隨非結構化資料呈現爆發之勢,物件儲存市場近兩年保持強勁增長,IDC預計,軟體定義儲存(SDS)市場未來五年複合增長率將達到28.8%。”
傳統IT架構漸成“過去式” 非結構化資料倒逼儲存變革
今天,許多企業已經意識到,結構化資料僅僅是企業所擁有資料的一小部分。與業務資訊系統中大量用於交易記錄、流程控制和統計分析的結構化資料相比,非結構化資料具有某種特定和持續的價值,這種價值在共享、檢索、分析等使用過程中得以產生和放大,並最終對企業業務和戰略產生影響。
多年來,杉巖資料透過對金融、教育、醫療、製造等行業的百餘家知名客戶的IT資訊化研究發現,非結構化資料的容量、檔案的數量已經大大超越了傳統NAS儲存的處理能力,企業級儲存從需求到產品形態的“自我變革”也變得更加急迫。
同時,IDC資料顯示,到2020年,企業資料總體將達到44ZB,其中80%的資料將會是非結構化資料(圖片、影片、歸檔以及企業級備份等資料),物件儲存市場規模將達198億美元,這也從側面印證了杉巖對於物件儲存未來發展的趨勢判斷。
在杉巖看來,軟體定義儲存將給金融、教育、醫療等傳統行業的IT架構帶來革命性改進,特別是對檔案數量過多、非結構化資料歸集檢索調取效率低、傳統架構無法按需彈性配置儲存空間等問題將發生徹底改變。
在服務深圳某三甲醫院的過程中,杉巖發現電子病歷、臨床影像檔案(如CT 、X光、彩超、高精動態影像等)、非核心繫統的資料歸集、查詢和調閱等問題成為傳統架構面臨的最大挑戰。
比如,在進行影像資料調閱時,資料歸檔離線後,沒有任何後設資料的管理描述,憑檔案系統的目錄結構進行資料查詢,非常費時費力。
當病歷檔案數量到達百萬級近千萬以後,儲存效能會出現大幅下降;而醫院伺服器上的資料仍然是孤島狀態,伺服器之間的儲存資源和資料並沒有實現共享。
當然,這些問題不止出現在醫療行業,在教育行業傳統儲存架構遭遇的問題也十分突出。杉巖在為某高校搭建物件儲存架構時發現,大學各職能機構以及二級學院之間資訊系統相對割裂,因此在系統安全性和可維護性方面十分困難。
而建築學院、傳媒學院、電影學院、服裝學院等專業性學院會產生大量的非結構化資料作業,如CAD製圖、影視作品、圖片設計、服裝樣片等等,這些資料對儲存空間的擴充套件性和儲存安全性提出了更高的要求,既要能夠滿足在教學、科研等場景下資料存放的要求,同時還要滿足作業提交、班級資料共享、科研資料分析調取等多元化需求。
此外,在銀行、證券行業的日常業務中,客戶證件、遠端錄影、合同掃描件、客服中心語音、企業相關電子文件資料等是最常見的非結構化資料。
這些檔案平均大小從KB到MB甚至GB級別不等,近兩年檔案量呈現高速增長狀態。從儲存容量上看,這些小檔案甚至佔據了金融機構資料總容量的80%以上。
根據監管部門要求,銀行、證券、保險等金融機構需實施專區“雙錄”,即對自有理財產品及代銷產品的銷售過程同步錄音錄影,“雙錄”規定的實施會帶來海量非結構化資料。以上這些問題都讓僵化的傳統IT架構有一種深深的無力感。
物件儲存走向舞臺中央 杉巖重新定義企業儲存新標準
隨著傳統IT架構的弊端日漸凸顯,以杉巖為代表的一批創新型儲存廠商開始重新定義企業級儲存的標準。從2014年創立伊始,杉巖便早早瞄準物件儲存市場並持續深耕。
經過四年的快速發展,杉巖目前在全國範圍內擁有近百家合作伙伴,業務範圍覆蓋政府、金融、運營商、教育、醫療、電力和製造等十餘個行業,使用者資料量部署總和超過100PB。
其研發的杉巖海量物件儲存(SandStone MOS)已成為海量非結構化資料儲存的主流解決方案,其在廣發證券檔案中心、武漢大學智慧校園雲端儲存平臺的成功應用得到了行業使用者的廣泛好評。
對於海量資料的儲存問題,杉巖海量物件儲存(SandStone MOS)解決方案採用去中心化分散式架構,同時利用軟體定義的方式實現了單一名字空間條件下數百PB級規模的容量擴充套件,業務可以隨時隨地訪問而不受資料儲存位置的限制。
在提升海量小檔案訪問效能方面,SandStone MOS利用雜湊計算實現了數億級檔案的高效訪問。針對檔案檢索困難,SandStone MOS支援標籤功能,檔案儲存時會自動設定標籤,從而更好地與業務結合,滿足高效檢索。
比如,在銀行業務場景下,當業務人員想要提取相關影片音訊檔案時,可以根據檔案標籤進行檢索調閱。
此外,SandStone MOS在易用性與可維護性方面也超越了同級別產品,其採用“x86通用伺服器+儲存軟體”的分散式解耦架構,將底層儲存空間與上層業務邏輯空間進行分離,軟硬體的升級不會影響到整個系統的正常執行。
即使系統有再多應用更新,也不會影響儲存空間的使用。值得一提的是,SandStone MOS首創的分散式儲存資料盤漫遊功能,可以幫助企業使用者漸進式的進行老舊硬體裝置更換,不影響業務的正常執行。
在物件儲存領域的專注與持續創新,換來的是行業的高度認可。去年8月,杉巖資料成為首家透過Intel中國雲端計算創新中心測試併發布報告的軟體定義儲存廠商。
與此同時,杉巖資料作為國家資訊化標準委員會雲端計算標準工作組成員單位及中國開源雲聯盟理事單位,先後參與了分散式儲存國家標準的制定工作及Ceph行業白皮書的編寫工作。
如今,物件儲存正煥發出更大的生命力,一場儲存革命也已開啟。以杉巖資料為代表的創新型儲存廠商,正透過不斷深耕物件儲存領域,幫助企業構建更加智慧的IT基礎設施,推動傳統儲存朝著更高效、更集約、更易用的方向全面演進。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69956769/viewspace-2673760/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 杉巖資料非結構化資料儲存解決方案
- 杉巖海量資料儲存解決方案
- 杉巖海量物件儲存系統完美替代Documentum物件
- 杉巖資料安全儲存解決方案
- 杉巖資料私有云儲存解決方案
- 杉巖資料媒資CDN影片儲存解決方案
- 深耕物件儲存 ECS釋放海量非結構化資料新價值物件
- 杉巖資料企業雲端儲存解決方案
- 杉巖資料:海量智慧儲存,打造新基建數字底座
- 海量圖片儲存,杉巖分散式物件儲存輕鬆應對分散式物件
- 杉巖海量圖片分散式儲存解決方案分散式
- 杉巖資料企業級私有云儲存解決方案
- 非結構化資料怎麼存?——開源物件儲存方案介紹物件
- 儲存成本日漸攀升?杉巖MOS海量物件儲存有絕招物件
- 杉巖物件儲存 讓資料價值賦能企業智慧物件
- 杉巖資料物件儲存替換IBM FileNet,突破效能瓶頸物件IBM
- 物件儲存潛力無限 杉巖資料分享創新之道物件
- 杉巖分散式儲存解決方案分散式
- 杉巖資料:從資料到洞察,如何用物件儲存支撐新型資料湖物件
- 杉巖:淺談物件儲存和塊儲存區別物件
- 資料儲存智慧化,杉巖打造新基建數字底座
- 發力物件儲存 ECS解鎖非結構化資料增長的價值物件
- 杉巖資料:工業視覺的智慧儲存之道視覺
- HBase 資料儲存結構
- 打破儲存效能瓶頸,杉巖資料為AI提速增效AI
- VSAN儲存結構解析+儲存資料恢復案例資料恢復
- 資料儲存-領存高速海量資料記錄儲存模組產品介紹
- 海量資料儲存之動態SchemaOU
- 詳解資料庫儲存的資料結構LSM Tree資料庫資料結構
- Flutter持久化儲存之資料庫儲存Flutter持久化資料庫
- MyRocks儲存引擎資料結構解析儲存引擎資料結構
- 資料儲存(歸檔解檔,沙河儲存)
- 資料儲存--檔案儲存
- 杉巖物件儲存當底座,IPFS:這下穩了物件
- 版本更新|杉巖MOS海量物件儲存上新,多維度重磅升級和最佳化!物件
- 保障儲存資料多活,杉巖MOS構建新一代多活資料中心
- 圖解vsan儲存結構/資料恢復方法圖解資料恢復
- 【資料結構——圖和圖的儲存結構】資料結構