浪潮儲存:以全快閃記憶體儲加速數字轉型

全球TMT發表於2021-08-23

(全球TMT2021年8月23日訊)據國際資料公司IDC在報告《資料時代2025》中的預測,到2025年,每年資料將快速增長,資料的增加呈指數級。“加強人工智慧、工業網際網路、物聯網等新型基礎設施建設”的新基建政策推出後,當下社會各行業都在向數字化轉變,資料洪流的到來進一步驅動數字價值鏈成熟,驅動千行百業數字轉型,獲取數字紅利。

2021全球快閃記憶體峰會期間,浪潮統一儲存產品總監孫磊向全行業解讀了浪潮對儲存產業及全快閃記憶體資料中心的理解和洞察。

新資料時代的三大挑戰

挑戰1:資料成為生產要素

新資料時代,資料應用已經滲透到了經濟社會各個領域,資料已成為核心生產要素,成為與勞動力、資本、土地和技術並駕的生產要素。作為生產要素,資料具有乘數作用,它可以放大勞動力、資本等生產要素在社會各行業價值鏈流轉中產生的價值。

發揮好資料生產要素的創新引擎作用,可以催生和推動新產業、新業態、新模式,有助於推動質量變革、效率變革、動力變革,實現高質量發展。

比如,利用資料來做疫情防控。疫情早期,需要輔以CT來確認感染者,這導致CT量暴漲10倍,為一線醫生帶來了巨大工作量和非常高的診斷難度。

資料專家基於大量的CT影像資料,訓練出了閱片機器人,用機器人幫助醫生進行診斷,從而大大節省了醫生看片子的時間,同時提高了診斷的準確性。

挑戰2:大規模應用

既然資料如此重要,就應該考慮解決資料儲存、使用和管理的問題,解決儲存的容量和效率問題。資料的數量級變化帶來了巨大挑戰。比如:

百度在北京有1萬輛自動駕駛汽車,每天300PB資料,如果未來自動駕駛投入商業應用,一個城市幾十萬上百萬輛車將產生ZB(100萬個PB)級資料。

在資料容量和效能上,新興應用場景產生了幾十上百倍的提升,需要儲存具備高容量、大併發、高頻寬、更高效能和更低時延,這需要採用新技術來應對挑戰。

挑戰3:新資料需求

當前和未來很長一段時間,浪潮將採用多種技術來構建終端-邊緣-兩地三中心-混合雲/公有云基礎設施,這些技術的進步都非常快。

新技術背後還需要用新的儲存,提供更高水平的資料流動、資料處理、資料共享、實時線上、永久安全等能力,實現資訊高效計算和互動,在這一領域,分散式儲存有著天然優勢。

浪潮儲存堅持雙輪驅動策略,緊跟技術趨勢和應用需求,浪潮在儲存的技術上也在做一些變革和突破,從而來讓產品能夠具備應對變化的能力。

上述提到的閱片機器人、自動駕駛的本質上是透過大量的機器學習所訓練出來的一套帶有自我預測能力的演算法,而在當今社會,效率就是生命,各領域除了演算法的最佳化,算力的儲存方面唯有全快閃記憶體儲才能提供更高的效率;

如何利用全快閃記憶體儲發揮出更高的效能,浪潮全快閃記憶體儲為大家解答。

以新儲存應對三大挑戰

從2020年8月起,浪潮提出了新儲存之道,所謂新儲存之道,其核心就是透過極致的技術創新和產品創新來應對挑戰。

浪潮用包括極簡架構、極致安全、極致穩定、極致效能、極致容量、極致雲化和極易管理在內的七大極致的技術路線來設計開發創新的HF系列全快閃記憶體儲。

HF系列全快閃記憶體儲目前在三個方面做出了比較大的創新:

  • 架構層面。國內外儲存廠商往往有多個軟體棧,比如混閃和全閃的軟體棧就不同,而浪潮同一套架構支援NVMe、SAS,一套架構支援所有的儲存應用,這就是極簡架構。
  • 軟體棧的重構,具體表現在以下幾個方面。

    1. 當快閃記憶體介質達到一定數量時,CPU將成為效能瓶頸,浪潮透過多核多執行緒效能最佳化,充分發揮CPU的作用,從而進一步拔高全閃陣列的極限效能。

    2. 浪潮透過實時壓縮重刪進一步提高了資料的儲存效率,保護使用者投資,降低了TCO。

    浪潮全閃陣列支援實時無損線上重刪壓縮;壓縮資料8byte對齊,拿8K位元組資料舉例,壓縮空間利用率99.8%;內建獨立加速晶片,對效能時延無影響;當寫入資料時,弱雜湊+位元組對比,確保重刪效率資料一致性;基於前壓縮方式,資料在快取中壓縮(專用快取.和壓縮晶片),資料存入到磁碟是壓縮後的資料量,固定條帶,充分利用空間。資料庫類應用壓縮比例2:1-5:1,日誌型應用最大壓縮比例可達10:1;

    3. 持續地快速迭代。2020年,浪潮釋出過iTurbo 1.0,2021年,iTurbo升級到2.0,iTurbo 2.0重點最佳化了三個方面。第一個重點在於在I/O路徑的最佳化上,iTurbo 2.0用智慧資料路徑打包整個I/O棧,使得I/O棧大大縮短,延遲得以明顯降低。第二個重點在於智慧多核。如今的儲存系統普遍沒能發揮處理器的核數和主頻效能優勢,而iTurbo 2.0最佳化了對多核的利用,實現了對多核的智慧排程,當發現有應用對效能有更高要求時,可以為應用繫結對應的CPU資源,能定向提升效能。第三是重點是冷熱分流。思路是,首先分離有效和無效資料,然後儘量把垃圾資料和無效資料聚合到同一個bolck裡,減少資料重新整理的波及範圍,這樣一來,不僅垃圾回收效率得以提高,而且,整體效能提升了1.5倍,時延降低了50%。
  • 支援使用傲騰SSD,為了使用新型儲存介質,浪潮和友商做了聯合的定製開發,使用傲騰後,在資料分層的場景的IOPS提升了70%,頻寬提高了100%,延時也降低了50%。

為了使用NVMe全閃協議,浪潮對整體軟體棧,從底層硬體驅動層到上層協議全都進行了重構,實現了端到端的NVMe的協議,使得儲存系統在讀寫效能和時延上都得到了大幅提升。

取得的成績在SPC-1測試中已經得到體現,浪潮全快閃記憶體儲HF18000G5-I,在2021 SPC-1榜單中有非常亮眼的成績,再次打破世界記錄,達到2300萬IOPS,且延時在0.29ms內。


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/70004007/viewspace-2788399/,如需轉載,請註明出處,否則將追究法律責任。

相關文章