華為的“少年天才”攀登者,出發向智慧儲存的“奧林帕斯山”
畢業季和招生季裡的一次次“官宣”,讓華為“天才少年”徹底出圈,也展現出了華為“兇猛”的技術人才進擊態勢。
大家在關注百萬年薪的同時,可別忘記與頂級薪酬相匹配的頂級挑戰。拿到高檔offer的“天才少年少女”,都選擇加入的華為儲存相關領域,是十分值得關注的領域。
儲存究竟有多重要?隨著各行各業智慧化的深入,資料基礎設施自然也需要跟上節奏。越來越多的企業需要高效的資料儲存與管理系統,來實現海量的資料管理與保護,為業務發展與經濟增長提供保障。
而2019年,華為曾以“奧林帕斯獎”為名,鼓勵科研人員積極創新,解決資料基礎設施領域的技術難題。而火星的奧林帕斯山,是太陽系已知最高的火山,是珠穆朗瑪峰的三倍,以此來類比,難度可想而知。
攀爬“太陽系之最”的技術高峰,自然需要專業且頂級的精英人才。所以,我們不妨暫時放下金光閃閃的高薪標籤,來看看這些攀登者們是如何征服儲存這座“奧林帕斯山”的。
遠眺,萬物智慧的資料風景
拒絕騰訊、阿里和美國儲存巨頭西部資料的邀請,在四份offer中直奔華為的“天才少女”,選擇與自己在校研究方向——新型儲存介質(NVM,SMR)、資料庫和鍵值儲存系統——相契合的華為儲存相關工作。
而天才少年也在接受採訪中表示,最終選擇加入華為,是希望能夠和一群志同道合的人做有意義的事,懷抱理想讓世界刮目相看。
儲存如同聖盃,正在成為今天和未來的資料狂潮中全社會新的避難所,也吸引了眾多年輕的有志之士為之奮鬥。
目前看來,我們正在經歷資料三變:
量級變大:數字化、智慧化產業趨勢的興起,IoT裝置逐漸變得無處不在,5G即將產生的超級聯接,都讓傳統的IT基礎設施面臨著資料浪潮衝擊;
價值變大:資料的儲存與融通,已經從網際網路產業的剛需,變成了各個行業未來業務增長的生產資料,5G+AI+雲時代的新一代儲存商業空間已經清晰;
產業之變:資料儲存從底層承載平臺,開始向資料流動、分析、利用的計算產業環節延伸,對硬體創新和軟體迭代提出了全新挑戰。
人類的智慧時代已經篤定,新一代儲存就成了必須翻越的山脈。
規劃,向山頂邁進
在新一代儲存設施的宏大挑戰中,NVMe成了所有攀登者必須抵達的一座山峰。
2010年,NVMe(Non-Volatile Memory Express非易失性記憶體標準)標準介面協議誕生,就註定了會讓挑戰者高山仰止:
傳統儲存中連線固態快閃記憶體SSD的最典型方式SAS,吞吐量有限,隨著儲存介質效能百倍級以上的提升,已經成為限制硬體效能釋放的天花板。
而NVMe則革命性地用簡潔、直接的輕量級技術能力,釋放了新的產業機會。
NVMe協議替代了原有的AHCI規範,並且軟體層面的處理命令進行了重新定義,得以規範固態硬碟訪問介面,去掉了SAS系統中的IO Scheduler和SCSI等複雜的協議層,利用多核處理器,降低協議互動時延。
與單佇列SAS協議相比,NVMe協議可支援多達64K個佇列,實現更高的併發處理。此外,透過PCIe直連,讓CPU和NVMe SSD直接通訊,比傳統SAS架構更精簡。有資料顯示,如果採用SAS後端的SCSI協議,一次完整的主機資料寫入請求需要透過4次協議互動,而華為NVMe全快閃記憶體只需要2次協議互動,處理寫請求的效率比SAS全快閃記憶體高1倍,顯著提高了固態硬碟的讀寫效能。
用一個類比來說,就是將原本草木叢生、人車畜共行的林間小道剷平了,修建一個更寬、更平坦的高速公路,資料自然能在上面快速流暢地通行。
根據Gartner預測,2022年NVMe SSD在儲存中佔比將達到52%。
聽起來,似乎只要將這個新協議用起來就好了,有什麼難的?攀登者在前往大本營之前,都會提前進行線路規劃、瞭解即將面對的地形和可能的風險,而對於NVMe技術的落地,其存在的挑戰就在於,想要一路給SSD“開綠燈”,並不容易。
首先,新技術從實驗室落地市場,需要達到規模化應用的高能效比。NVMe SSD全快閃記憶體陣列在合理成本上發揮出它的效能極限,從單純的注重效能發展到真實降低單位位元成本,才能吸引客戶買單;
其次,需要完整的產業鏈支援,比如當時的全快閃記憶體陣列控制器架構都是為了適應機械硬碟而設計的,NVMe面臨著軟硬體適配、運維管理的重重阻礙。
另外,只有NVMe產品能夠在企業業務中可以釋放出真正的商業價值,特別是在分秒必爭的企業場景,這就需要產品力的加持。
這些,都推動著攀登者們全面理解、步步為營、持續發力。
攀登,華為儲存的三把“神兵”
在儲存領域,傳統的技術話語權柄一直被美國、日本等大國巨頭廠商所把持。但變局在NVMe上發生了。
2018年,華為在中國儲存與資料峰會上,釋出了華為OceanStor 儲存 Dorado系列,率先實現了全系列支援NVMe架構。
在達到這一成績之前,華為也早已拿下了不少小的技術“據點”,比如釋出了業內唯一端到端NVMe SSD盤、NVMe快閃記憶體控制器和NVMe全快閃記憶體作業系統等等。
智慧儲存的產業階段,華為NVMe全快閃記憶體陣列,錘鍊出了三把披荊斬棘、無往不利的“神兵利器”:
1.全面覆蓋,化繁為簡,指數級效能增長
華為更進一步,從網路、伺服器、儲存全部採用NVMe Over RoCE全IP組網設計,使用 TCP/IP 和 RoCE 來部署NVMe 快閃記憶體儲存平臺,讓以往需要在多種協議(FC/IP/IB/PCIe/SAS)中複雜互動的局面,用NVMe一種協議完成了整個網的管理。
這樣從前端網路連線、後端硬碟框連線、scale-out的控制器互聯均採用同一種網路協議,其優勢也顯而易見:極大降低了儲存時延,極致時延可達0.1ms;避免複雜的網路協議和規劃,簡化了資料中心和企業網路的部署和維護成本。
2.全面創新,端到端整體護航高可靠性
作為業界率先實現全系列端到端NVMe全快閃記憶體的廠商,華為自然也搶先交付出了一整套的產業價值。
以新一代OceanStor分散式儲存、OceanStor全快閃記憶體、FusionData智慧資料湖解決方案等為例,就基於智慧無損網路和硬體,實現了資料在“採、存、算、管、用”整個生命週期的端到端整合和最佳化,將新一代儲存技術更全面地融入資料基礎設施。
為此,華為應用了一系列創新技術。
比如針對商用NVMeSSD盤必須快速線上更換的需求,避免暴力熱插拔(PCIe surprise hot plug)可能導致的系統異常、業務中斷,華為打造了智慧無損網路和OceanStor全快閃記憶體聯合NOF+增強方案,採用前端共享大卡在系統內實現故障自動巡檢、即時感知、主動修復,鏈路故障感知時間只有1秒,端到端時延僅為75μs。與之相比,業內通用的NOF故障感知時間長達15秒,後者顯然對於極大提升系統可靠性,保障端到端的穩定時延,起到了關鍵作用。
再比如,儲存單點的可靠性往往需要採用雙控冗餘技術保障,但大部分廠商會放棄技術上較難的原生雙PCIe埠,而選擇另闢捷徑,導致系統可靠性的降低。
而華為的解決方法是十年磨一劍,攻破了雙埠技術,兩個PCIe 3.0X2埠獨立,互相不影響,為系統修復和異常處理提供了硬體基礎,保證了系統雙控冗餘性,提升系統的可靠性。
為了解決硬碟重構時間增長,傳統RAID技術無法保障系統可靠性,容易導致盤故障、資料丟失的問題,華為採用創新的RAID-TP軟體技術,基於Erasure Code演算法,將校驗位做到支援1、2、3位可調,容忍同一個RAID組內1-3塊盤同時失效,在3塊盤同時失效的情況下能夠容忍資料不丟失,業務不中斷。這是目前美國戴爾、IBM等廠商都做不到的。
(華為支援NVMe Over Fabric的端到端方案)
3.軟硬體結合,從工作流程、工具鏈、產品化的全面升級
要讓資料在整個生命週期內都能滿足時代訴求,面對的挑戰還有很多。所以除了僅在硬體產品最佳化上做文章之外,華為也從底層出發,從工作流程、工具鏈到產品進行了全方位使能。
舉個例子,華為率先在NVMe全快閃記憶體領域實現免閘道器雙活方案,基於快閃記憶體的硬體和軟體最佳化,雙活時延達到1毫秒,效能業界最高,保障業務7*24高可用,並支援從雙活方案平滑升級到3DC方案。
華為OceanStor 儲存 Dorado系列還開發一系列自動化部署工具,把運維工程師從複雜繁瑣的網路部署工具中解放出來,全面提升從網路規劃到實施的易用性。加上人工智慧技術智慧預測故障、定位問題、實時健康度分析、分析效能和容量趨勢等等應用,大大降低儲存系統執行風險和運維成本,將儲存管理效率提升5倍以上。
透過這一系列組合拳,華為正在將NVMe技術不斷融入到儲存陣列之中,在數字化升級的時代浪潮中,讓各行業都能直觀地感受前沿技術帶來的體驗質變。
衝頂,全球儲存,中國時刻
不出意外,華為的技術攀登者們成功在一個個大本營勝利會師、安營紮寨。
在技術分析機構DCIG的《DCIG 2020年-2021年全快閃記憶體陣列購買指南》中,華為OceanStor儲存Dorado系列佔據C位,位列最佳推薦榜首,超越其他所有競爭對手。
全球權威機構Gartner公佈的最新資料顯示,2019年華為儲存全球增速第一,成為市場中後勁最足的廠商。
在2020年第一季度全球儲存供應商普遍出現營收下滑的背景下,華為儲存逆勢保持24.7%的高速增長,其中華為全快閃記憶體增長率高達45.1%,遠高於市場平均增長率和其他競爭對手。
從2002年起步至今,華為儲存從零創業,到如今拿下NVMe的技術高地,加速向全球市場衝鋒,後勁都來自哪些要素?或許可以將其總結為華為儲存的“四大能量”:
1.技術信念。華為在儲存和硬碟領域鑽研多年,是目前業界唯一自研儲存控制器、SSD盤和儲存晶片的廠商,充分了解資料儲存的全流程,將這些經驗應用在NVMe系統中,增長迭變速度越來越快;
2.創新意識。不斷將新的技術、理念、工具融入到儲存領域當中,全棧採用NVMe、晶片級端到端加速、SCM+分級/快取技術、智慧AI演算法FlashLink等等,每一次創新都轉化為向上攀登的強勁動能;
3.尊重市場。無論是人工智慧、大資料、自動駕駛、區塊鏈等先進領域,還是在醫療、製造、金融等傳統行業,華為儲存對各行業的資料困境都十分尊重,全系列NVMe的產品陣列,降低了使用者使用領先儲存技術的門檻,提供了更靈活、經濟的選擇,幫助更多企業快速推進數字化轉型。
4.重視人才。華為在優秀人才的吸納上從來都不遺餘力,在科研上的投入甚至超過了當年的淨利潤。而從任正非的隻言片語中我們知道,華為至少有700多名數學家,800多名物理學家,120多名化學家,六七千名的基礎研究專家,6萬多名各級高階工程師。華為華為18萬員工中,有將近45%的人在從事基礎研究工作。
從這個角度看,華為儲存在全球市場的衝鋒,看似是一場短跑衝刺,其實是一場綿延將近20年、砥礪前行的馬拉松。
人類不斷向火星發起探索,是用夢想自我定義能力上限的過程。而華為儲存的一次次技術上探,其實是源於一個偉大夢想的無限延伸。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31561483/viewspace-2712112/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 奧林帕斯懸紅:攻克資料儲存世界級難題的詩與遠方
- 駛向智慧海洋深處,華為儲存的無盡想象
- 華為天才少年年薪201萬:吃夠了學習的苦,才能享受生活的甜
- 山東常林集團攜手杉巖資料:超融合+分散式儲存為業務提速分散式
- 突破邊界,華為儲存的破壁之旅
- 華為雲OBS物件儲存服務:值得擁有的貼心的儲存管家物件
- 騰訊雲物件儲存COS新品釋出——智慧分層儲存,自動優化您的儲存成本物件優化
- 手遊《奧林劈圖》的開發日記(一)
- 手遊《奧林劈圖》的開發日記(二)
- 手遊《奧林劈圖》的開發日記(三)
- 物聯網的銀河,華為的槳,少年的歌
- 斯特林
- 俄羅斯的 IT 危機:儲存快用完了
- 華為雲物件儲存OBS,助力企業高效解決儲存問題物件
- 奧林巴斯將AI匯入內窺鏡,開啟人工智慧診斷新時代AI人工智慧
- 華為雲OBS助力物聯網資料轉發與儲存
- 真學霸不愁錢,傳遞社會正能量 - 我看華為百萬年薪招聘天才少年
- 華為雲學院乾貨:物件儲存服務:便捷管理儲存資源物件
- 感受真實的華為-記山東CIO智庫會員華為之行
- 從“芯”出發 華為釋出智慧計算新戰略
- 釋出 mbtiles 儲存的向量瓦片
- 無人車高手,與華為雲上的少年熱血
- 快速整合華為AGC雲端儲存服務-AndroidGCAndroid
- Cocos|快速整合華為AGC雲端儲存服務GC
- 【3】斯特林數
- 斯特林數求解
- 向著陽光的華為,淬火而行的哪吒
- 華為雲物件儲存服務OBS教你一招輕鬆解決儲存難題物件
- PPT儲存時出現“連同字型儲存”彈窗的解決方法
- 物件儲存的優勢有哪些?為什麼要選擇物件儲存?物件
- 使用儲存過程(PL/SQL)向資料庫中儲存BLOB物件儲存過程SQL資料庫物件
- 全棧為方,普惠為向:華為雲AI的2019全棧AI
- 郭斯傑:重新思考流計算時代的分散式儲存分散式
- 配置linux為儲存Linux
- 為什麼Kubernetes的儲存如此艱難?
- [案例分享]華為S5300儲存硬碟掉恢復案例硬碟
- PHP匯出大量資料,儲存為CSV檔案PHP
- 基於TSINGSEE青犀AI影片智慧分析技術的山區林區煙火檢測方案GseAI