實測 | 海納百川,華為OceanStor Pacific分散式儲存為多元算力應用帶來更優選擇

naojiti發表於2022-12-22

被稱為開眼看世界的林則徐,在自己的書房中寫了這樣一副對聯,以做自勉:海納百川,有容乃大,壁立千仞,無欲則剛。

包容的胸懷是我們做成很多事情的根基,也是一項產業戰略、科技事業發展的關鍵。近幾年,資料基礎設施國產化,在科技自立的大背景下如火如荼。比如,以計算和儲存為主要構成的HPC/AI資料基礎設施事關國計民生,在以科技創新和基礎科研為代表的關鍵領域均扮演著重要角色。但很多科技科研場景的HPC/AI資料基礎設施當前都依託X86 CPU+GPU+Lustre儲存+IB交換機這個大一統的抱團生態體系,且已成為業界公認的HPC/AI設施最佳效能組合之一。如何兼顧科技科研領域的效率成果與自立自強,為HPC/AI等多樣性算力應用關鍵場景,提供最適合業務的資料底座,成為一個關鍵問題。

這種情況下,“海納百川,有容乃大”的意義就凸顯了出來。不久之前,在深圳一所國家重點實驗室,華為OceanStor Pacific分散式儲存與早期依託X86 CPU+GPU+Lustre儲存+IB交換機組網構建的某大科學裝置AI叢集進行了綜合的POC測試。其結果顯示,華為OceanStor Pacific分散式儲存完美相容匹配該大科學裝置的AI叢集生態環境,更重要的是透過實測,其多項指標效能和功能均優於現有系統。華為與該國家重點實驗室聯合操作的這項POC測試意義極其深遠重大,遠超於一款產品或解決方案發布:它代表了一種實事求是,相容幷蓄的發展策略;是一塊國產先進儲存面向全球的敲門磚,一艘中國科技與全球化間的破冰船;對於科學研究,乃至更多領域的數字化、智慧化程式來說,這是十分幸運的。

資料之潮,時代之需:科研場景的儲存挑戰

X86+GPU主導的大一統生態技術體系經過了數十年發展和構建,其大樹根基在全球和中國已經十分深遠。大量國際國內的數字化工具和軟體應用,數字化成果都捆綁X86+GPU。這在某種程度上來說是種無奈,但也是客觀存在不可迴避的現實。

尤其在科研領域,HPC/AI正在全球各個學科的研究中扮演重要角色,X86+GPU算力平臺可以更方便教授學者與科研從業人員接觸全球最新學術動態和驗證科研成果。這種強慣性的作用下,短時間內強行脫離X86生態是不現實的。因此,早期甚至當前新建的很多HPC/AI基礎設施,選擇建立在X86+GPU體系上。

隨著HPDA的整體發展,從業務負載上而言需要考慮HPC/AI、大資料以及AI的混合疊加,需要支援應用驅動的科學計算工作流,進而推動負載以資料為中心,從計算科學發現轉向資料科學發現轉變。

科技科研的突破速度取決於資料基礎設施的效能,特別是對資料儲存效能帶來極致挑戰。第一個挑戰是應用的資料量級從PB級正在加速走向EB級;第二個挑戰是應用的負載從單一走向多樣化,也就是常說的混合負載;最後一個挑戰是應用型別的變化,從簡單走向複雜。核心是資料與業務的耦合度在增加,資料計算需要參與整個業務流程的多個環節,且環環相扣,缺一不可。

在當前推進科技科研自立自強的大時代背景下,面對這些資料中心儲存挑戰和需求,以及面對X86+GPU體系暫不可完全替代,國內業界都希望看到先進的國產儲存相容X86+GPU環境的下的HPC/AI應用,也可以提供媲美Lustre儲存的效能和功能。

更佳效能,更優選擇:華為分散式儲存的價值呈現

不久之前,華為OceanStor Pacific分散式儲存與在深圳某國家重點實驗室依託X86 CPU+GPU+Lustre儲存+IB交換機組網構建的大科學裝置AI叢集進行了POC測試。從測試結果上看,整體相容效果良好,沒有出現任何相容問題,並且使用了華為OceanStor Pacific分散式儲存之後,儲存在功能、效能上優於現有系統,融入計算叢集的效果也更加良好。

這次測試對接的成功,表明華為在技術創新、產品相容上的進取姿態,也表明其為科研創新,乃至更廣闊計算、儲存領域做出貢獻的決心。科研教育與國家實驗性,在一個國家的計算基礎設施中具有代表性意義。與該大科學裝置AI叢集的成功對接,可以看作華為OceanStor Pacific分散式儲存敲開了國產儲存為HPC/AI提供更優選擇的大門。HPC/AI應用場景下,Lustre不再獨領風騷。

一般來說,多元算力包括x86、ARM、AI、GPU計算等多種計算生態,儲存需要根據不同的計算場景與計算設施,為使用者提供最佳體驗。華為分散式儲存的價值與優勢,釋放到HPC/AI場景,可以有效滿足科研等場景中的儲存需求。

具體而言,華為OceanStor Pacific分散式儲存透過這樣幾個角度,破除HPC/AI場景的儲存困局。

首先解決海量資料高價效比儲存的問題:我們知道隨著HPC/AI業務量的不斷增長,往往最先遇到的是機房空間不足和儲存成本高昂的問題。為此,華為推出了 華為OceanStor Pacific分散式儲存高密專用硬體,基於全新的高密架構設計,並提供更高的容量利用率,在有限的機房空間裡存下更多資料,更好地滿足海量資料增長的需要。疊加華為OceanStor Pacific分散式儲存的智慧分級儲存技術,對域內熱、溫、冷資料進行統一管理,資料能夠在熱、溫、冷層系統間自動遷移,無需管理員手動干預,靈活有效地管理資料全生命週期,同時有效解決海量資料的運維管理難題。

其次,提供面向混合負載的高效能:HPC/AI應用計算所涉及的資料越來越多、型別越來越豐富、任務併發性也越來越高,因此需要效能更加均衡的儲存。華為OceanStor Pacific分散式儲存採用OceanFS新一代並行檔案系統,結合獨特的大小I/O自適應資料流技術,一套儲存即可同時滿足極致頻寬、極致IOPS和極致時延的混合負載要求。透過與分散式並行客戶端(DPC)的密切配合,打破單流和單客戶端的效能瓶頸,幫助企業有效應對混合工作負載的挑戰。

最後,多個不同業務環節資料的高效安全流動:由於資料量的增大、資料應用的複雜化,資料在不同環節、不同系統間高效流動是HPC/AI業務面臨的一個主要挑戰。華為OceanStor Pacific分散式儲存擁有業界領先的多協議互通能力。多個儲存服務同時訪問一份資料,支援 NFS、CIFS、HDFS 和 S3 等協議的按需部署,透過其中一種協議寫入的資料,無需遷移即可被其他協議讀取,提高跨環節、跨系統的資料分析效率。

此次面向多元算力,釋放多元算力價值的全面啟航,展現了華為的包容與兼顧,也展現了華為OceanStor Pacific分散式儲存乃至華為儲存,邁向科研+HPC/AI場景的發展方向。

面向未來,有容乃大:資料基礎設施再啟航

在成功完成相容測試後,華為在市場與受眾的層面獲得了更廣泛的認可。但華為OceanStor Pacific分散式儲存與深圳知名的國家重點實驗室大科學裝置X86 AI叢集進行的POC測試,更廣泛的價值在於面向科研領域、ICT領域,展現了一種關於有容乃大的智慧。

這次測試成功,對於多方面來說都有其意義。

對於科研機構來說,X86環境的HPC/AI可以很快獲得更好的儲存支援,即使不在短期進行國產化計算替換,也可以實現資料可控、可信的數字化戰略,從而獲得更穩健、開放的科研環境。

對於HPC/AI相關專案與資料中心來說,華為OceanStor Pacific分散式儲存相容多元算力意味著更多選擇,更廣闊的解決方案構建空間,確保計算基礎設施真正實現多樣性。對於計算國產化趨勢來說,我們不搞封閉和孤立,而是在開放、包容的態勢中走向科技自立自強。

華為分散式儲存支援多元化算力,意味著是一個真正開放相容、自主創新的高可靠儲存資料底座正在建立,具備傳統超算、大資料分析及AI分析能力,應用驅動統一資料來源支援全流程科學計算服務,在為科研及商業提供多樣性算力同時,能夠基於資料知識累積,提供高階資料價值服務。華為OceanStor Pacific分散式儲存的相容性提升,既是一次新的啟航,也是一個明確的指向:它向世界展示了中國ICT產業海納百川的胸懷,包容萬物的決心。

來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31561483/viewspace-2929162/,如需轉載,請註明出處,否則將追究法律責任。

相關文章