杉巖資料:海量智慧儲存,打造新基建數字底座
過去二十年,數字經濟蓬勃發展,深刻改變了人們的生產和生活方式。資料已經成為數字經濟時代最核心的生產要素。移動網際網路成為社會的數字基礎設施,社交網路、電子商務、移動支付已經重構每一箇中國人的生活方式,人工智慧在各行業的應用持續擴充和深化,有望成為新一代的技術基礎設施。工業網際網路已在千行百業生根發芽,賦能工業企業實現數字化轉型,透過對資料的採集和分析形成智慧反饋,推動形成全新的生產製造和服務體系,提高企業生產效率,創造差異化的產品和增值服務,隨著5G網路部署逐漸鋪開,企業的智慧化升級正得到進一步加速。
一、數字化基礎設施產生海量資料,儲存產業面臨巨大機會
新基建涵蓋了眾多的數字化基礎設施:雲端計算、人工智慧、工業網際網路、5G、物聯網、資料中心、智慧計算中心等資訊基礎設施,以智慧交通、智慧能源為代表的融合基礎設施。新基建以數字化為核心,推動產業向高階化發展,這個過程必然產生大量的資料以及相應的採集、儲存、分析和歸檔需求。根據機構預測,到2025年智慧終端數量將達到400億個,全球資料總量也將從2020年的44ZB躍升到180ZB,其中30%屬於實時資料,75%來自邊緣和終端。
資料不僅總量巨大,增長速度也十分驚人,一家智慧化的醫院每天可以生成3TB資料,一座智慧工廠每天生成1PB資料,一座智慧城市每天產生的資料量是250PB。新基建將加速企業的數字化轉型,大量新的硬體與應用帶來資料量快速增長的同時,也讓資料型別越來越多樣化。生產、採集和儲存儘可能多的資料,用於全量分析以洞察先機已成為企業的共識。海量資料蘊含巨大的價值,給儲存系統帶來了前所未有的機會和挑戰。
二、量變引發質變,海量資料的管理日益複雜
隨著網路邊緣裝置增多、資料規模增長,資料的分佈、流動和處理的模式在發生變化,企業計算架構隨著技術和業務需求的更新也在不斷演進,新的問題逐漸浮現。
資料的時間價值凸顯
資料隨時間不斷產生,同時在智慧應用中持續迭代計算,從物聯網獲取的資料更附帶了鮮明的時序屬性。在任何時刻,近期產生的資料和頻繁參與計算的基礎資料相對更有價值,資料在不同歷史階段的使用頻次不同,而總量巨大的資料必然需要佔用寶貴的儲存空間,因此高效能儲存儲存高價值資料、常規儲存儲存中等價值資料、高價效比儲存空間儲存低價值資料並綜合考慮資料的傳輸成本是合理的介質資源分配邏輯,資料在不同介質之間的儲存、流轉和生命週期管理是未來管理者的基礎需求。
混合雲端儲存的資料自由流動
為適應競爭激烈的市場環境,企業在努力縮短與客戶的距離,大量業務向網際網路化和敏捷化的方向演進,逐漸形成了在公有云部署敏捷業務、在私有云儲存核心資料的局面,這種公共雲和私有云共存的形態在未來很長時間都會是常態。因此,如何實現公共雲和私有云之間資料的自由流動,如何做到業務無感知,使用者不需要關注資料的位置,實現資料的融合、自由遷移和安全合規非常重要。
雲邊協同的資料管理
萬物互聯的5G時代,物與物之間的連線將急劇增多,終端數量增長,資料採集渠道更加豐富,物聯網裝置將在網路邊緣對資料進行計算、儲存、處理和分析,邊緣儲存適用於與物聯網裝置緊密相關、資料傳輸延遲敏感、資料互動次數多、資料傳輸量大的物聯網應用,如工業物聯網、車聯網、智慧城市、無人機、影片監控等。資料在雲端儲存和邊緣儲存之間的流動更趨複雜,雲邊協同的資料管理能力變得尤為重要。
簡化管理應對資料中心架構變革
企業計算架構處於全方位的變革中,傳統計算能力讓位於虛擬化、雲化、容器化和智慧化,單一的檔案儲存和塊儲存正在被經濟高效的軟體定義儲存替代。資料中心架構變革處在新舊轉換期,軟體定義儲存呼嘯而來,傳統儲存仍有存在價值,二者的統一管理將有效降低資料中心的建設和運維成本。
三、為海量資料而生的智慧儲存
不同型別的基礎技術和業務需求導致了儲存對資料感知能力的差異。塊儲存廣泛應用於業務專有系統中,這類系統要求很高的隨機讀寫效能,因此塊儲存有較強的I/O感知能力,對不同大小資料塊(如4KB/8KB/16KB)讀寫能夠感知和加速讀寫。檔案儲存通常要兼顧多個應用和更多使用者訪問,以檔案為單位的讀寫使得檔案儲存在一定程度上可以感知內容,對不同型別的檔案(如文件、圖片、音訊、影片)讀寫有對應的最佳化手段。
基礎技術的不同也導致儲存特性的較大差異,塊儲存如同跑車,容量有限但追求極致的速度、穩定性和可靠性;檔案儲存如同大貨車,容量較大,相容性好,如果不需要極限效能,可以適用於各種常規儲存需求;新興的物件儲存如同超大型集裝箱船舶,容量極大,支援海量併發訪問,內建的後設資料結構可用於識別資料的多維度屬性,使得物件儲存可以實現應用感知(如某資料庫應用、某機器視覺的工業應用、某人工智慧應用的模型訓練),並因此針對智慧應用提供加速能力,甚至將一些在應用層處理代價很高的問題解除安裝到儲存伺服器中解決。
以物件儲存為核心技術的海量智慧儲存,憑藉靈活的去中心化架構帶來的彈性擴充套件能力、高併發訪問等天然優勢,消除了容量和效能的約束,輕鬆支撐EB級規模,以千萬級IOPS和TB級聚合頻寬滿足高併發訪問需求,提供多層次多策略的企業級資料保護,加之部署簡單、靈活擴容的特點,逐漸取代傳統儲存,為海量資料提供極致容量、極致效能、極致可靠的底層支撐,為工業應用提供智慧的資料服務,是數字化基礎設施堅實的數字底座。
四、全新的資料模式需要多元化的資料管理
因為資料規模的增長、資料來源的泛化、應用的容器化,應用和資料的分佈呈多元化發展,需要有豐富的策略管理日益複雜的資料分佈和流動模式。
全生命週期自動化管理
資料的遷移管理目前主要依靠人力完成,運維人員的經驗決定了管理的質量,資料的容量決定了遷移的效率。智慧儲存根據資料訪問頻率以及對資料內容和上層應用的感知,透過策略自動化管理熱溫冷資料的流動,解放人力簡化運維。比如在醫院的PACS影像系統中,近期影像存放在高效能介質,三個月以上的中期影像資料存放在低成本介質,一年以上的影像自動歸檔到藍光儲存或公有云平臺長期儲存,兼顧效能和成本需求,資料分層效率提升十倍,而且顯著降低管理難度。
混合雲端儲存的統一管理
出於安全和成本的考量,企業往往將敏捷業務部署在公有云,同時將重要資料存放在私有云,以兼顧業務靈活和資料安全。企業儲存需要和公有云儲存結合起來,提供業務無感知的資料融合和流動。杉巖資料和阿里雲在這個領域開展了非常有益的合作,作為國內第一家支援阿里雲OSS雲端儲存服務的企業 ,企業客戶將可以實現應用和資料的靈活部署,應用部署地點和資料儲存空間不再相互制約,滿足“敏捷-安全-成本”的混合雲端儲存需求。
總部與分支機構間的資料匯聚和分發
雲邊協同的資料管理能力對儲存系統支撐總部與分支機構間的資料匯聚和分發至關重要。跨地域的機構內資料訪問,需要在較低的網路頻寬條件下實現較高的讀寫效能、跨區域的統一檔案檢視和異地容災能力。為了在相互矛盾的條件下滿足上述需求,企業智慧儲存需要提供一個資料同步和分發架構,在儲存層面實現跨區域叢集資料的統一名稱空間和資料流動,透過雙活架構提供資料災難恢復能力,透過CDN實現總部中心節點的資料分發,透過分支機構的資料就近寫入實現總部的資料自動匯聚,並透過跨區域的資料排程簡化應用層資料共享的複雜性。
傳統儲存和軟體定義儲存的統一管理
隨著企業資料中心架構整體轉向軟體定義,必須考慮新舊裝置綜合利用的需求,軟體定義儲存的部署越來越多,與此同時傳統儲存也將長期存在並在其生命週期中繼續發揮作用,透過對異構儲存的統一管理整合現有裝置資源可有效保護既有投資。杉巖資料已經支援對檔案儲存裝置的納管,對塊儲存裝置的納管也將根據客戶和合作夥伴的需求陸續提供。
五、雙擎驅動:儲存核心引擎 + 智慧資料處理引擎
高效支撐海量資料的智慧儲存,既要立足當下,更要面向未來。杉巖資料敏銳地洞察到高效儲存海量小檔案(小於500KB)是很多物件儲存客戶的核心需求,長時間寫入以數十億計的小檔案很容易引發效能降級,在儲存容量利用率較高的時候下降幅度尤為明顯,杉巖資料儲存核心引擎透過在分散式負載管理、後設資料加速、檔案合併讀寫等關鍵技術的長期投入實現了百億級小檔案的效能高度穩定,已經達到超越行業30%的水準。
在企業經營活動中,資料智慧驅動生產決策,深度挖掘資料價值成為剛需。智慧儲存不僅僅存放資料,更與前端應用深度融合,滿足資料處理、機器學習場景的應用需求。杉巖智慧儲存內建了一套智慧資料處理引擎,對企業應用需要的資料處理、快速檔案檢索、機器學習模型訓練提供支撐能力,實現智慧應用的流程精簡,大幅降低了用於智慧計算的硬體投入需求,快速提升資料處理效率。比如智慧資料處理引擎提供的影像處理功能,可以在儲存系統中實現圖片轉碼、檔案格式轉換、影片抽幀,以節省容量需求、加速資料處理;透過影像識別和OCR功能,幫助證券公司最佳化AI質檢演算法,提高質檢效率;透過對海量原始資料的歸檔、後設資料加速的快速檔案檢索幫助最佳化AI演算法,加快機器學習模型訓練的迭代速度。
六、海量智慧儲存打造新基建數字底座
新基建為中國的產業升級清晰地指明瞭方向,數字化基礎設施的廣泛建設以及隨之產生的新型應用需求將帶來了資料爆發式的增長,海量資料蘊含巨大的價值,在帶來更多機遇的同時,也給傳統的IT基礎設施帶來了前所未有的挑戰,更多樣化的資料模式、日益複雜的資料管理以及高效的資料利用對儲存提出了更高的要求,建設新一代海量智慧儲存成為解決這些資料應用問題的關鍵,智慧儲存必將成為新基建的堅實數字底座。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69956769/viewspace-2693684/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 資料儲存智慧化,杉巖打造新基建數字底座
- 杉巖海量資料儲存解決方案
- 杉巖資料加入龍蜥社群,攜手打造堅實資料儲存底座
- 海量非結構化資料儲存難題 ,杉巖資料物件儲存完美解決物件
- 杉巖資料公開課:新儲存賦能工業視覺,新基建激發資料活力視覺
- 杉巖海量物件儲存系統完美替代Documentum物件
- 杉巖物件儲存當底座,IPFS:這下穩了物件
- 杉巖海量智慧儲存加速探秘海洋,感知藍色星球之美
- 杉巖資料:工業視覺的智慧儲存之道視覺
- 杉巖海量圖片分散式儲存解決方案分散式
- 海量圖片儲存,杉巖分散式物件儲存輕鬆應對分散式物件
- 袋鼠雲資料湖平臺「DataLake」,儲存全量資料,打造數字底座
- 杉巖資料安全儲存解決方案
- 儲存成本日漸攀升?杉巖MOS海量物件儲存有絕招物件
- 杉巖資料私有云儲存解決方案
- 杉巖物件儲存 讓資料價值賦能企業智慧物件
- 物件儲存潛力無限 杉巖資料分享創新之道物件
- 杉巖資料媒資CDN影片儲存解決方案
- 杉巖資料打造智慧處理引擎概念,引領資料應用新風潮
- 金融信創產業加速發展,杉巖資料夯實儲存底座產業
- 杉巖資料非結構化資料儲存解決方案
- 杉巖資料企業雲端儲存解決方案
- 版本更新|杉巖MOS海量物件儲存上新,多維度重磅升級和最佳化!物件
- 杉巖資料企業級私有云儲存解決方案
- 打破儲存效能瓶頸,杉巖資料為AI提速增效AI
- 南方醫科大學深圳醫院:杉巖新儲存賦能智慧醫療
- 杉巖資料完成1.5億融資,加速以資料為核心的新儲存市場落地
- 杉巖:淺談物件儲存和塊儲存區別物件
- 杉巖分散式儲存解決方案分散式
- 杉巖資料物件儲存替換IBM FileNet,突破效能瓶頸物件IBM
- 智慧儲存賦能金融信建立設 | 杉巖資料受邀出席金融資訊科技應用創新研討會
- 杉巖資料:從資料到洞察,如何用物件儲存支撐新型資料湖物件
- 儲存賦能機器視覺,杉巖資料助力信維通訊加速智慧製造視覺
- 多源資料快速遷移匯聚,杉巖資料推出智慧資料湖新通道
- 杉巖PACS影像系統分散式儲存架構分散式架構
- 圖片處理能力提升50%,杉巖智慧儲存是如何做到的?
- 海量資料儲存之動態SchemaOU
- 打造堅實技術“底座”,為海量資料創造無限可能