智算時代需要什麼樣的儲存?

dobigdata發表於2021-04-24

當華為、滴滴、小鵬等一眾公司近期都紛紛曬出自動駕駛汽車在複雜路況的行駛情況時,一個觸手可及的智慧時代真的是在加速到來。

在今年的浪潮資料中心合作伙伴大會(IPF)2021上,浪潮認為在一個智慧時代裡,智慧應用無處不在,也帶來了指數級的計算需求,計算產業正加速進行到智算時代,同時也面臨著多元化、巨量化和生態化的挑戰。

事實上,伴隨著計算走向異構化、複雜化,AI模型走向巨量化,在儲存層面同樣會面臨著海量資料的誕生、儲存、管理和應用等一系列挑戰與問題。正如西部資料公司副總裁兼中國區業務總經理劉鋼在IPF 2021大會上所言:“高速發展的人工智慧在對數字經濟產生巨大賦能和推動的同時,也推動整個計算產業往'智慧計算'方向演進,巨量模型和海量資料,對算力和儲存的需求呈指數級增長,也將推動著儲存架構走向創新。”

智算時代需要什麼樣的儲存?

西部資料公司副總裁兼中國區業務總經理劉鋼

AI摩爾定律背後的一筆資料賬

過去,應用和場景通常是圍繞著業務流程展開;如今,幾乎所有的智慧應用都是透過資料和演算法來驅動。

資料正在成為智算時代最核心的生產要素。隨著《十四五規劃報告》的頒佈,在政策層面上推動數字時代到來、啟用資料要素潛能,加快建設數字經濟、產業數字化等,為數字化的智慧應用場景掃除了最後的障礙。

在一個智慧應用井噴的時代裡,解決算力需求首當其衝,但亦不能忽視背後海量資料帶來的挑戰。以往,計算機處理器效能通常是遵循摩爾定律,每兩年左右時間增長一倍。如今隨著人工智慧應用在多個行業遍地開花,模型愈發複雜,AI在訓練和推理對於算力的需求更加渴望。根據一些機構統計,AI訓練所需要的算力每3.43個月就翻一倍,AI摩爾定律揭示著一個對於算力極度渴求的時代到來。

以OpenAI的GPT模型為例,GPT-1模型引數只有1.1億個,預訓練資料量為5GB,最大層數為12層,到了GPT-2,模型引數增加到15億個,預訓練資料量達到40GB,最大層數突破到48層;而去年五月釋出的GPT-3,模型引數則高達1750億個,,預訓練資料量高達45TB,最大層數高達96層。無論是模型規模、資料量、訓練層數都是指數級增加。

僅僅一個模型在短短几年內就發生了驚人的演進,隨著大量AI模型在行業中得到應用,隨之而來的海量資料可想而知。可以預見,在未來的智算時代中,海量資料的處理、儲存、流動與管理將面臨著極為嚴峻的挑戰。

以自動駕駛為例,一輛L4級的自動駕駛車輛,每天就能夠誕生高達60TB的資料,根據法規需求,這些資料還要儲存至少30年以上,自動駕駛公司每天還需要不斷訓練新資料,以實現模型的最佳化。光自動駕駛這一個場景的資料儲存、應用、流動和歸檔就充滿了挑戰。

“面對人工智慧應用帶來的挑戰,一定不能只用一種技術來解決,而是需要在儲存架構層進行創新。”劉鋼直言道。

儲存架構必然走向變革

歸根結底,數字經濟的快速發展,讓智慧應用在資料型別、資料量、資料處理等方面的需求比以往有了指數級的提升。如何讓這些海量資料能夠存得下、用得快、流得動和管得好,是當下儲存架構最具挑戰的難題。

為此,西部資料開出了它的“組合藥方”:去中心化分散式儲存、分層儲存和分割槽儲存三大創新儲存架構。

智算時代需要什麼樣的儲存?

首先,去中心化分散式儲存解決的是讓更多資料存下來的難題。眾所周知,隨著區塊鏈、人工智慧等技術逐漸在業務場景中走向融合,基於這些技術的智慧應用正在數字版權、供應鏈管理、醫療健康等多個行業誕生,隨之而來的就是海量資料,而去中心化分散式儲存將大幅降低儲存成本,儲存更多資料。

其次,分層儲存解決的是讓儲存資源可以物盡其用,充分滿足資料生命週期不同階段對於儲存資源的需求。劉鋼透露,西部資料根據資料對儲存時延、容量的需求,將分層儲存架構劃分為五層:極熱儲存、熱儲存、溫儲存、冷儲存和極冷儲存,並且每一層都有對應產品來保障。

比如像一些記憶體計算、資料分析類的場景,對於資料處理效能極度渴望,就更加適合採用極熱儲存;而自動駕駛等AI場景,對於資料處理效能、容量都有著很高的要求,採用熱儲存就非常符合。“對於極熱儲存和熱儲存、溫儲存,西部資料都有著高效能SSD、主流SSD等不同方案來滿足需求。”劉鋼介紹道。

眾所周知,在智慧應用遍地開花的今天,快閃記憶體的容量、效能和成本正變得至關重要。尤其是當前SSD容量點正在從4TB升級到8TB的關鍵時期,對於快閃記憶體廠商的產品、技術、產能是一場大考。劉鋼直言:“如今,大規模產能對於SSD很關鍵,西部資料和鎧俠戰友全球三分之一的份額,可以在產能層面提供充足的保障。”

此外,西部資料在快閃記憶體上的技術也讓其在智慧應用中游刃有餘,“西部資料在2月已經發布了第六代162層3D NAND技術,橫向單元陣列密度比上一代提升了10%,晶圓尺寸減少40%,IO效能提升66%,可以滿足不斷增長的資料處理效能需求。”劉鋼補充道:“在充足產能和領先技術的基礎上,西部資料還在控制器、高效能韌體等縱向整合上進行最佳化,確保快閃記憶體在容量、效能、成本、功耗上實現最優。”

第三個創新儲存架構則是分割槽儲存,它致力於解決效能、規模、成本等問題,不再需要去過將近28%的榮譽空間,效能和QoS大幅提升,最大程度提升了儲存規模和利用率,並且有效降低儲存的TCO。

更加重要的是,西部資料的創新儲存架構已經在雲服務、生物醫藥、區塊鏈等多個業務場景中得到了充分實踐與考驗。

西部資料與浪潮:智算時代合作典範

面對智算時代多元化、巨量化和生態離散化的挑戰,不是一家公司所能應對的。為此,浪潮在本次IPF大會上提出了元腦生態2.0計劃,打造智算時代開放包容生態體系,以吸納更多合作伙伴到智算產業大生態之中。

事實上,西部資料與浪潮堪稱成功合作的典範,針對智慧業務場景,雙方緊密配合,攜手打造解決方案。例如,西部資料與浪潮推出聯合解決方案,可以提供極致的儲存容量,同時降低叢集的節點數量,與傳統方案相比,大幅降低功耗和機櫃空間成本。

又如,浪潮儲存在元腦生態2.0基礎上推出了“元腦新儲存生態”,聯合各類合作伙伴構建“以使用者為中心、以應用為導向”的場景共同體,強調儲存系統針對智慧應用將走向場景化、細分化、個性化,這恰恰與西部資料所強調針對業務資料特性採用不同技術的觀點高度契合。未來,西部資料與浪潮儲存在元腦新儲存生態建設上同樣有著巨大的合作空間。

劉鋼在最後也表示:“西部資料與浪潮結合雙方前沿科技與產品的獨特優勢,協力打造出高效能、低成本、且兼具穩定性與擴充套件性等特點的卓越解決方案,最佳化資源配置,賦能智慧計算。未來,雙方將繼續加強縱深合作,不斷以創新的資料儲存架構和解決方案,應對市場多樣化的需求,並攜手生態系統中的各方夥伴共同推動智慧產業的轉型與發展,為行業使用者創造更多價值。”


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69965091/viewspace-2769663/,如需轉載,請註明出處,否則將追究法律責任。

相關文章