構建東數西算一體化存力體系,如何做好儲存底座建設?
隨著數字經濟成為全球經濟高質量發展的引擎,企業資料量正在指數級增長,預計到2025年全球資料規模將突破175ZB。在“東數西算”工程中常見的儲存業務包括生產資料、災備資料和存檔資料,其特點是容量巨大、長期儲存,既要存得下,又要存得好。
海量資料 如何“存得下”
首先,要有足夠的空間承載“東數西算”工程的海量資料。
儲存作為數字世界的載體和基石,資料存力以儲存容量為核心,儲存裝機容量直接代表著國家和企業在資料時代的核心競爭力。日前,Gartner公佈2022年一季度全球儲存市場報告,報告顯示,本季度全球儲存市場裝機容量12.7EB,同比增長5.4%;其中浪潮儲存裝機容量同比增長39.7%,七倍市場平均增速,裝機容量達到1499PB,位列全球前三、中國第一。浪.潮儲存作為國際和國記憶體力擔當,相當於全球每增加100TB資料儲存裝機容量,就有11.5TB資料存在浪潮儲存中,產品成熟度和競爭力得到了市場的驗證。
浪潮儲存裝機容量全球前三、中國第一
其次,保證資料在8個樞紐、10個資料中心之間進行快速、高效、安全傳輸。
浪潮儲存擁有業界領先的智慧WAN加速技術,採用了免費內建的業務模式,透過提高網路帶庫利用率,將WAN傳輸效能、頻寬提升10倍以上。具體方法為,浪潮儲存採用多資料流併發傳輸機制:一方面在傳送端,會將每個資料流進行免license壓縮,可實現2-5倍的資料壓縮比;再將壓縮後的資料流切成多個固定大小的資料塊,給資料塊打上序號和校驗碼,然後向傳輸通道傳輸各個資料流的定長資料塊,源源不斷的傳送過去。另一方面在接受端,對每個定長資料塊進行校驗,一旦發現資料塊有誤或丟失,就反饋給傳送端,傳送端只需要重新傳輸這個小的定長資料塊,不需要重傳整個資料流。同時,對資料塊進行排序和解壓縮,還原成各個資料流的完整版。
浪潮儲存的WAN加速技術
東數西算 如何存得好
在全球積極應對氣候變化目標下,綠色低碳成為資料中心的重要發展方向,中國經過充分論證研究,規劃佈局了8大國家樞紐節點,引導大規模資料中心適度集聚,透過實施“東數西算”工程,積極探索構建形成以資料流為導向的新型格局。在“碳達峰、碳中和”大背景下,資料中心產業變革的核心環節在於綠色節能資料中心的高質量發展,透過先進節能技術、高效協同網路和可再生能源來使能資料中心自身和高耗能行業節能降碳,促進實現“碳達峰、碳中和”的宏偉戰略目標。
首先,儲存底座要採用綠色節能技術,降低資料中心PUE值。
全快閃記憶體儲是實現綠色節能的核心技術。隨著快閃記憶體介質的不斷髮展,其高效能、低延時、低功耗的優勢使其成為資料中心的寵兒,全快閃記憶體儲的佔比在國內已達到24%,儲存介質快閃記憶體化將是未來資料中心的發展趨勢。2019年,浪潮就在業內率先提出新資料儲存戰略,並打造出極致可靠、高效的HF系列全快閃記憶體儲。HF系列從SSD核心器部件,到儲存作業系統,再到演算法進行全面創新,保障儲存系統穩定可靠執行。HF系列不斷打磨“iTurbo 2.0智慧加速引擎”,最佳化資源排程演算法,利用更多的CPU核心和執行緒承載更多資料儲存程式,在儲存效能委員會組織的SPC-1國際基準測試中,以2300萬IOPS的評測值奪得效能總榜全球第一。2022年,浪潮全新推出了新一代SSD高速儲存介質,能效比上一代產品提升70%以上,能夠幫助儲存系統實現綠色低碳。
實時無損線上重刪壓縮技術能夠幫助資料中心提升空間利用效率。藉助全快閃記憶體儲的高效能、低延時、低功耗的優勢,利用業界領先的實時無損線上重刪壓縮技術,可實現相同空間記憶體儲幾倍甚至幾十倍的資料,幫助節約能耗,實現綠色低碳。
以壓縮為例,浪潮壓縮技術原理如下:其一,將壓縮資料8byte對齊,拿8K位元組資料舉例,壓縮空間利用率99.8%;其二採用內建獨立加速晶片,對效能時延無影響;其三,當寫入資料時,基於弱雜湊+位元組對比,確保重刪效率資料一致性;最後基於前壓縮方式,實現資料在快取中壓縮(專用快取和壓縮晶片),資料存入到磁碟是壓縮後的資料量,並透過固定條帶技術,充分利用空間。據測算,資料庫類應用壓縮比例為2:1-5:1,日誌型應用最大壓縮比例可達10:1。
東數西算 如何實現多協議融合
“萬物之始,大道至簡”,目前企業的資料型別越來越豐富,“多合一”架構成為企業分散式儲存選型的剛需。浪潮分散式儲存追求極簡,是業內首個支援四合一架構的融合儲存,使用者購買一套儲存享有檔案、塊、物件和大資料四種服務,其中檔案、物件和大資料3種儲存服務間可訪問同一份資料,資料無需在不同裝置間遷移和複製,實現存一份資料相當於存了3份,構建成真正的統一儲存資源池,業務處理效率翻倍提升,滿足效能需求的同時,幫助IT投資運維成本節約30%以上,實現綠色低碳。
同時,還可以對資料進行自動化運維,降低運維複雜度。在資料運維方面,浪潮基於智慧統一儲存管理平臺InView,實現資料中心“硬碟級”的效能、容量、故障智慧預測。與傳統儲存運維相比,傳統運維在系統運維、管理中缺少精細化管理策略,僅僅對主機執行做管控,忽略了儲存最小物理單元硬碟運維。透過統一的儲存資料管理平臺實現多套儲存平臺統一管理,透過統一入口,實現對統一儲存和海量儲存的的精細管理,嵌入式設計,對外始終只呈現一個系統頁面,標籤欄切換式操作,多裝置間自如切換。能支援在統一的管理軟體內,實現對儲存系統的容災複製管理,輕鬆構建跨裝置容災。 整合AIOPS 功能,針對分散式海量儲存,可以實現對磁碟故障的提前預測和告警。提供統一資源儲存管理平臺,對儲存系統進行集中管理、智慧監測和故障預測,硬碟兩週時間預測準確率可以達到95%以上,增強了東數西算資料中心的健壯性——從以前被動的硬碟壞了以後進行搶救變成主動提前預測,有足夠時間視窗對壞盤提前進行資料重構,讓EB儲存“巨無霸”穩健、連續執行。
“東數西算”工程是對堅持新發展理念、構建新發展格局的貫徹落實,將為中國數字產業化和產業數字化發展打好堅實底座。資料儲存作為支撐東數西算工程建設的底層關鍵技術,高效、安全、綠色、易管理的重要性不言而喻。浪潮儲存以全球前三、中國第一的裝機容量“存下”海量資料,透過智慧WAN加速技術確保資料傳輸快速、高效、安全,透過全閃介質、 實時無損線上重刪壓縮、多協議融合等綠色節能技術“存好”資料,並透過智慧化運維InView使資料中心間的運維更加簡便。
東數西算工程剛剛啟幕,面向未來,浪潮儲存將持續秉承“雲存智用,運籌新資料”理念,不斷加快研發創新腳步,啟用資料來源力,釋放資料潛能,支撐數字化創新應用,服務數字化中國建設,推動東數西算邁向新徵程。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69965512/viewspace-2911608/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 儲存系統實現-構建自己的儲存系統(一)
- 如何構建通用儲存中間層
- 軟體定義儲存助力數字中國建設:智慧高效又經濟的資料儲存方式
- GPU體系架構(二):GPU儲存體系GPU架構
- Oracle RAC 體系結構--儲存Oracle
- 基於開源軟體構建儲存解決方案的思考
- MySQL體系結構與儲存引擎MySql儲存引擎
- MySQL InnoDB儲存引擎體系結構MySql儲存引擎
- MySql體系結構和儲存引擎MySql儲存引擎
- 從綠色資料中心建設看“東數西算”實踐之路
- “雲端計算”時代 儲存架構如何變化架構
- hbase的儲存體系
- 計算機的硬體系統儲存器計算機
- 企業金融雲端儲存建設之路
- 滴滴基於Clickhouse構建新一代日誌儲存系統
- 基於Ceph物件儲存構建實踐物件
- 企業資料平臺建設的基石:構建統一的資料存算能力
- mysql優化 | 儲存引擎,建表,索引,sql的優化建議MySql優化儲存引擎索引
- JAVA——構建以檔案為儲存實體的虛擬物理磁碟類Java
- 資料儲存智慧化,杉巖打造新基建數字底座
- 4.5PB!杉巖物件儲存中標天威視訊“中心儲存系統建設”物件
- MySQL 5.6 InnoDB儲存引擎體系結構圖MySql儲存引擎
- 企業如何做好資訊儲存
- 雲端儲存技術體系
- ARM體系中儲存系統
- 第一章 MySQL體系結構和儲存引擎MySql儲存引擎
- 如何構建自己的知識體系
- 構建全國算力“一張網”ZAIAI
- KaiwuDB × 國網山東綜能 | 分散式儲能雲邊端一體化專案建設AI分散式
- 如何構建線上線下一體化AI PaaS平臺AI
- 如何構建線上線下一體化 AI PaaS 平臺AI
- 小數在記憶體中是如何儲存的?記憶體
- Mysql技術內幕InnoDB儲存引擎讀書筆記--《一》Mysql體系結構和儲存引擎MySql儲存引擎筆記
- 容器化RDS—— 計算儲存分離 or 本地儲存
- 如何構建高效資料流通交易體系
- Cassandra - 一個分散的結構化儲存系統
- WordPress如何使用騰訊雲物件儲存COS儲存媒體庫附件物件
- 浪潮儲存助力湖北廣播電視臺建設4K超高清儲存製作系統