為什麼軟體定義儲存走到十字路口?

dobigdata發表於2021-05-10

2004年,加州大學聖克魯斯分校Sage Weil寫下Ceph專案的第一行程式碼。此時的Ceph僅僅是他攻讀博士期間的研究課題,卻對日後大火的軟體定義儲存產生深遠影響。

Ceph統一、分散式的設計理念,實現一套儲存同時提供物件、塊和檔案多種儲存服務,不僅滿足不同應用的需求,極為簡化儲存的部署和運維,還讓儲存系統的擴充套件性和規模不再受到制約。這些理念讓Ceph開源之後脫穎而出成為明星專案,更極大推動了軟體定義儲存的發展。

近年來藉著雲端計算的東風,軟體定義儲存市場取得了長足進步,在網際網路、雲原生等大量新業務場景中獲得使用者青睞,更在很多關鍵業務場景中開始扮演著重要角色。哪怕是在去年多個行業受到疫情波及的背景下,軟體定義儲存市場依然顯示出強勁的增長速度。根據IDC最新資料顯示,中國軟體定義儲存市場2020年同比大幅增長51.7%,2019年同比增長46.8%,多家移動運營商對於軟體定義儲存的採購大單更是吸引大批眼球。

然而,喧囂繁華的背後卻透著一絲隱憂。軟體定義儲存走紅多年之後,愈發獲得使用者認可,成為雲化基礎設施的重要選擇;卻也迎來了下一個關鍵的十字路口,大部分架構誕生於十餘年前,修修補補多年,對於未來的應用趨勢逐漸有點力不從心。

“軟體定義儲存的架構是時候重塑了。”ExponTech(華瑞指數雲科技)CTO 曹羽中直言道。

雲數智驅動基礎設施變革

雲端計算、大資料和人工智慧正在深刻改變企業的基礎設施。

雲化基礎設施已成大勢所趨。去年,中國移動、中國電信等運營商5G核心網雲化專案中,對於軟體定義儲存採購力度之大堪稱驚人。同樣的情況也發生在金融等行業,大型商業銀行紛紛在進行分散式架構改造,加速實現基礎設施的雲化。

“在雲化環境之中,不同種類業務在池化的資源池中拿到相匹配的資源。這種業務場景天然適合軟體定義儲存的分散式架構、軟體定義、水平擴充套件、基於統一儲存引擎向上提供多種介面等特性。”曹羽中介紹道,“這些新型的雲化專案基本不太可能再選擇傳統儲存去構建儲存資源池。”

為什麼軟體定義儲存走到十字路口?

ExponTech CTO 曹羽中

基礎設施資源的池化,對於資料的利用大有好處,推動資料分析和AI等資料類應用落地。過去,企業的基礎設施往往是以滿足應用和流程為中心;新的趨勢下,一切業務和應用都是圍繞資料為中心。以如今銀行的數字化營銷為例,一個五一節假日的促銷活動,往往包含線上和線下多營銷渠道,與之匹配的是多樣化複雜推薦體系和營銷手段,需要針對各種資料進行多個業務模型的訓練,以實現營銷效果最優,帶動老使用者消費和挖掘潛客。

“以資料為中心將成為下一代基礎設施的典型特徵,未來的企業應用場景都是由資料驅動的。”曹羽中如是說,“如今很多基於大資料、人工智慧技術的業務場景,從業務形態上更加強調動態、彈性和併發訪問吞吐。”

面向未來,基於大資料、人工智慧技術且由資料驅動的智慧應用將大量井噴,對於資料儲存的需求將發生翻天覆地的變化,軟體定義儲存也將迎來了重要的節點,必須進化以跟上趨勢。

在曹羽中看來,軟體定義儲存的架構開始加速走向變革,“一些開源專案,其架構在過去十年還是以小幅改進為主,缺少根本性變革。如果在架構層不做出改變,未來幾年,軟體定義儲存將面臨著更多棘手的挑戰。”

SDS2.0架構呼之欲出

軟體定義儲存在架構層之所以需要變革,在於如今的儲存基礎設施面臨著遠比過去複雜的環境。

這種複雜性主要集中在兩個方向:向下如何適配愈發豐富且複雜的硬體環境,如何適配跨越混合多雲和邊緣的新IT環境,向上如何更好基於資料視角提供豐富的資料管理能力,形成統一的資料湖,乃至湖倉一體的平臺,讓企業的資料資源更好的支撐上層各種形態的,雲化的業務應用,並催生更多的體現資料價值的資料類應用。

例如,在AI應用愈發豐富的趨勢下,像GPU、傲騰持久級記憶體等硬體開始得到大量使用,很多使用者都將面臨著硬體環境複雜、資料儲存層級增加等情況。對此,曹羽中表示:“軟體定義儲存的本質特徵之一就是需要去適配複雜的環境,未來尤甚,包括多儲存層級、資料流動、全生命週期管理等,也包括對諸如NVMe SSD,SCM,RDMA等新興硬體和網路技術的支援,都需要軟體定義儲存在架構層有技術能力和勇氣去做根本性變革。”

另一方面,混合多雲環境正在成為很多企業的選擇,企業基於混合多雲的IT環境,構建起統一的資料湖成為一個重要的趨勢。基於軟體定義儲存來構建企業資料湖會帶來許多的好處:可以利用軟體定義儲存面向海量資料的能力,解決資料大規模儲存和吞吐的問題,實現計算與儲存完全分離,帶來動態和彈性以及資料打通與共享;另外,可以整合各種資料管理、服務能力,更好的支撐起上層各種應用的需求。

“公有云巨頭都在其大規模公有云平臺上提供了智慧資料湖相關方案,此類方案都有一個共同的特徵:以大規模物件儲存為基座,實現計算與儲存的完全分離,再配合資料整合,資料管理,多樣化的資料分析等相關能力來構建。對於積極推動數字化轉型的企業客戶,如果基於資料安全和監管考慮,不能夠把全部的資料和應用都部署到公有云上去,就需要考慮在自己的資料中心(或者考慮跨越自有資料中心和多家公有云)來構建資料湖。在這種情況下,基於軟體定義儲存來構建企業資料湖將成為一個很自然的選擇,而軟體定義儲存產品則需要向上為資料湖開放更多介面和能力,讓資料湖的構建,管理和使用更加便捷。”曹羽中補充道。

為什麼軟體定義儲存走到十字路口?

如果說以Ceph為代表的開源系統或基於Ceph核心的商業化版本,代表著軟體定義儲存1.0(SDS1.0),那麼下一代SDS2.0架構又將走向何方?本質上,SDS2.0肩負的使命已經不僅僅是資料儲存,而是需要面向數字化和智慧化時代,面向混合多雲的新IT環境,幫助企業打造以資料為中心的下一代IT基礎設施。在曹羽中看來,基於未來的趨勢洞察,SDS2.0架構重點會朝著五個方向演進:

其一,支援端到端可組合式的架構,從資料感知,IO感知的角度組合整合分散式雲環境(私有云、多個公有云,邊緣)中的儲存資源,提供不同IO模型,不同效能和可靠性要求以及許多種協議介面(SCSI, S3, POSIX, NFS, CIFS, CSI, HDFS等) 的自由組合及靈活部署, 可Scale-up,Scale-out任意擴充套件,一個資料平臺、一份資料支援多樣化業務負載;

其二,架構需要適應分散式雲環境,一套軟體堆疊覆蓋公有云/私有云/邊緣雲多種場景,可以跨越資料中心,多朵公有云及邊緣,實現資料的全透明化管理和排程,業務感知和業務視角下的資料流動,資料儲存位置趨於透明,任意位置業務均可訪問任意位置資料;

其三,架構與雲原生環境適配,全容器化部署和微服務化管理,實現跨混合多雲和邊緣的極簡部署,可編排式、敏捷地在雲和邊緣任意位置發放資料儲存/服務,並且可以自適應策略式排程資料流動,完善適配和支援雲原生應用;

其四,基於全新一代分散式儲存引擎,實現對於新儲存介質和新興技術的完善支援,包括像適配SSD、SCM、NVMe-oF、RoCE等新介質或新技術,充分發揮這些新技術的能力,能適應海量資料儲存和分析以及生產核心業務的要求;

其五,具有更全面的資料視角,而不僅僅是儲存視角,通盤考量南向資料儲存和北向資料服務,可透過組合式疊加服務元件的方式向資料湖,湖倉一體平臺,混合多雲資料平臺無縫演進。

“基於過去十多年來我們在分散式儲存,雲端計算等領域的工程經驗,總結今天軟體定義儲存所存在的普遍問題以及對未來企業和社會數字化轉型對資料基礎設施的需求的洞察,我們決定結合業界最新的技術成果,打造新一代SDS2.0分散式儲存引擎。”曹羽中透露道。

據悉,作為基於新一代分散式架構的資料基礎設施解決方案提供商,ExponTech(華瑞指數雲科技)初始目標就是構建由北向湖倉一體的資料平臺和南向跨混合多雲的下一代軟體定義儲存平臺組成的混合多雲資料平臺,以致力於攻克大多數企業當前以及未來所面臨的資料挑戰。

未來可期

伴隨著企業和社會數字化轉型駛入快車道,資料基礎架構從傳統儲存到SDS1.0再到SDS2.0, 這樣的平滑演進讓企業客戶能夠快速應對“以資料為中心”的挑戰,從而更加靈活高效的全域性排程和使用業務資料,並從海量的資料中提取更多重要價值,為企業的業務創新和敏捷運營構建未來就緒的統一資料平臺……

不管你承認與否,在趨勢面前,順勢而為才是明智之舉。當軟體定義儲存步入2.0時代,你會如何選擇?答案不言自明。


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69965091/viewspace-2771657/,如需轉載,請註明出處,否則將追究法律責任。

相關文章