給AI時代裝配“新大腦”：資料密集型超算帶來了哪些變革？

這幾天，世界人工智慧大會成為了行業中當之無愧的流量焦點，而媒體與分析師對這屆大會的關注點也各有不同。

我們發現，世界人工智慧大會來到第四屆，大家關心的不再僅僅是基礎演算法創新以及酷炫的黑科技應用。AI相關的產業基礎設施、規模化落地方案的關注度逐步增強。大家更多把AI視作一個產業結構，而非單單一種技術來加以討論。

說到AI的產業會基礎設施，就不能不提到超算。無論對於科研、行業，甚至區域發展與國家戰略來說，超算都是AI與相關新一代資訊科技的核心。而隨著AI等技術帶來資料量大規模增長、資料結構多元化、資料分析任務複雜化，原本的HPC(高效能運算)體系也迎來了全新的變革與挑戰。HPC正在走向HPDA(高效能資料分析)的新方向，AI時代的超算體系正在從計算密集型轉向到資料密集型。

我們知道，人的聰明才智不僅來自反應能力，還來源於對知識、記憶、經驗的準確調取和應用。當AI要變得更聰明時，一定需要更強大的資料處理能力。資料密集型超算，可以說是社會經濟真正需要的AI大腦。

人腦中的記憶是儲存在神經元當中的，那麼AI時代的超算大腦中，資料將要儲存在哪呢?

一場由資料密集型超算帶來的儲存變革正在發生。7月8日，在2021世界人工智慧大會(WAIC2021)上，上海交通大學與華為公司聯合釋出了資料密集型超算示範中心。這是雙方繼4月份聯合成立“高效能運算&儲存技術聯合創新中心”以來的又一重磅合作，開創了產學研一體化推動超算發展的全新模式。

讓我們以此為基礎來談一談：智慧時代為什麼必須發展資料密集型的“新超算”?與此同時，儲存產業又如何幫助“新超算”跨越資料裂谷?

智慧時代，資料密集型超算的產業需求

自疫情發生以來，全球無數國家和地區，相繼意識到了超算能力的重要性。在確診病例、尋找治療方法以及研發疫苗的過程中，病毒與蛋白質解析能力至關重要。而相關工作就非常明顯地展現出了計算由計算密集型，向資料密集型轉化;由HPC向HPDA演進的必要性。

病毒解析任務中，需要快速產生海量資料，並且其結構複雜、資料形態多元。類似計算任務不僅考驗計算能力，更考驗全流程化的資料存放、呼叫、解析與再利用能力。如果僅僅是算得快，那麼任務可能在資料的全流程迴圈中浪費大量時間。而疫情面前，時間就是生命。

在AI進入產業化週期的階段，類似問題出現在各行業的超算需求中。自動駕駛、油氣勘探、天文分析、工業數字化孿生，都清晰地指向資料密集型計算。

華為IT產品線解決方案設計部部長陳默博士認為，超算發展目前主要有6大趨勢：架構叢集化、計算異構化、資料密集化、網路IP化、運營自動化和應用容器化。這些趨勢的出現，不僅考驗了超算本身的算力發展，還給超算的儲存體系帶來了一系列挑戰。比如說：

1、超算對應的資料儲存量與儲存型別快速增加：自動駕駛、衛星探測等任務帶來了資料量的幾何級飆升。而智慧城市、地質勘探等行業帶來了大量非結構化資料、混合型別資料的存在任務，這都對儲存體系產生了更高要求。

2、資料呼叫效能極大增加，要求儲存能力增強：HPDA形態下的超算體系，需要完成海量資料的短時間內大量吞吐，這對儲存效能提出了挑戰。

3、產業智慧化趨勢，要求儲存可靠性趨向極致：在生產場景中落地的超算，需要結果高度可靠，且不能出現重複，更不能持續故障。這要求儲存的可靠性極高，並具有強大的自我修復與診斷能力。

4、超算中心和資料中心融合：超算體系未來將承擔更多的資料服務與資料利用職能，這就要求資料在存算場景中反覆流動，快速迴圈，形成有效的資料湖場景。這將對現有儲存體系造成巨大的升級。

這些趨勢的存在和發展，意味著資料密集型超算必將建立在儲存能力的升級與進化之上。海量儲存能力升級支撐資料密集型超算與HPDA趨勢;超算升級又支撐了AI產業化發展。

這樣來看，今年我們希望在世界人工智慧大會中找到的產業底座，一定蘊藏在海量儲存體系當中。

應對HPDA挑戰，需要儲存能力升級

為了應對資料密集型超算中出現的一系列資料存算挑戰，華為推出了OceanStor Pacific儲存，在高密設計、應對混合負載能力，以及多協議互通三大領域完成了創新，從而更準確滿足海量、多種類資料的快速存算需求，助力超算體系升級。

我們可以具體來看一下這三大能力是如何解決資料密集型超算所遇到挑戰的。

首先，HPDA的核心挑戰就是海量資料的湧入，以及業務量的幾何級增長，很快會造成機房空間不足、儲存成本高昂的問題，相關使用者不能無限制投入成本和空間用以存放資料。為了解決這個問題，華為推出了OeanStor Pacific高密專用硬體，基於全新的高密架構設計提供更高的容量利用率，在有限的機房空間裡存下更多資料。

其次，隨著AI產業化的推進，超算體系中的一套儲存必須支援不同業務流程、產業環節的混合負載。以油氣勘探為例，過往資料採集、解釋、處理每個環節的業務能力對儲存的需求都不同，如果搭建多套儲存會造成大量遷移成本和安全風險。華為OceanStor Pacific推出了新一代分散式並行檔案系統，從而應對混合負載挑戰。

再有，資料密集型超算需要讓資料在其他環節、不同系統之間進行復雜的迴圈流動，這就需要儲存具備多協議互通能力。華為OeanStor Pacific具備業界領先的多協議互通能力，能夠實現多個儲存服務同時訪問一份資料，提高跨環節、跨系統的資料分析效率。

面向資料密集型超算的產業趨勢，華為也並不僅僅是提供市場需要的產品和技術，而是與科研界、產業界走到一起，聯手探索未來超算的更多可能性。比如上海交通大學與華為聯合打造的資料密集型超算示範中心。

產學研一體，探索超算下一幕

資料密集型超算的進化，以及HPC向HPDA的演進，都不是一家企業、一個產業鏈環節能夠完成的任務，而是需要這個領域中產學研各界高效協同，更準確完成從基礎設施革新、技術創新到產業落地的一系列工程。

華為與上海交通大學聯手打造的資料密集型超算示範中心，就是一種有效的產學研一體化協作模式。華為OceanStor Pacific儲存對於HPDA的賦能與幫助，不應該等待產業界慢慢探索發掘，而是應該在有效的示範與引導下，確保行業使用者和超算建設方能夠準確找到切入點，實現投入產出比最大化。

資料密集型超算示範中心就是這樣一個產學研一體化打造的示範專案，其具有兩大創新點，一是國內高校建設的第一個ARM超算體系，二是在國內高校首次踐行“資料密集型超算”的建設理念。圍繞資料密集型超算的建設理念，華為與上海交大緊密協作，持續投入了相關技術與應用創新，並且在科研合作、人才培育等領域進行生態化合作。以此來探索超算在智慧時代的有效升級路徑。

回到儲存領域，華為OceanStor Pacific儲存為資料密集型超算示範中心提供了統一的資料底座，對異構化算力實現了堅實支撐，既確保了創新型的超算部署成功落地，同時還增強了結果驗證能力，提升了使用者操作體驗與執行效率。

未來，資料密集型超算將在AI走入千行百業、探索技術邊界的程式裡起到中堅作用。而相關的儲存能力則是眾多想象力的基礎。

我們在今年的世界人工智慧大會中，不僅能夠看到對AI基礎設施的關注，甚至能看到“基礎設施的基礎設施”迎來了升級進化。

基建是無數產業發展的靈魂，我們在高速公路、高鐵上見到的故事，正在AI、儲存中又一次上演著。