位元組跳動架構師 周超勇:儲存市場未來大概率會被NVMe盤統一

在資料為王的時代，沒有人會去質疑資料的重要性。但隨著資料量的不斷激增，對於資料的儲存和有效管理成為不得不面對的難題。究竟怎樣的儲存架構才真正符合當前企業的實際需求?儲存市場的未來又將是何去何從?帶著這些問題，我們和位元組跳動架構師周超勇進行了簡單的溝通。

作為在CDN行業摸爬滾打多年的行業專家，周超勇曾先後擔任藍汛和金山雲CDN架構師，其主要關注CACHE設計、儲存設計、儲存與業務分離等，開源有DMA、XFS、XCACHE和BGN等技術。精通數學的周超勇曾完全自主開發並行與分散式計算平臺BGN，而在他自己看來，BGN的開發則是出於自己的“無知”。目前，周超勇在位元組跳動做邊緣計算架構師，主要關注算力分發和算力網路建設。用周超勇自己的話講：“從ECC到CDN到邊緣計算，從計算到流量再到算力，不變的是對並行和分佈的追求，對指揮千軍萬馬，協同作戰，提高人類慾望上限的追求。”

從CDN架構和業務變遷看IT架構演變

藉助多年從事CDN行業的工作經驗，周超勇認為，通過CDN架構和業務的變遷能夠間接瞭解IT架構的演變。周超勇在藍汛初次接觸CDN架構時，已經是藍汛的第二代架構，它基於SQUID開發了一套框架，允許研發人員以模組的方式實現框架的HOOK點，滿足數以萬計客戶的定製化需求。據介紹，其業務以頁面加速為主，裝置部署以單機為主，配千兆網路卡，SATA HDD盤。主要挑戰來自於客戶需求的多樣性、架構的複雜度和耦合度。

隨後，下載類和視訊類業務崛起，萬兆網路卡出現，裝置叢集化部署以增大儲存容量和網路卡吞吐量，SQUID框架難以為繼，開始切換到以NGINX為核心的新一代CDN架構，其主要挑戰來自於儲存。

接著，雲廠商的加入導致CDN市場競爭加劇，價格壓縮迫使CDN廠商在商業模式做出改變，傳導到架構上分化出一批更專業的、有針對性的設計方案。彼時，分層部署方式湧現出來。

近兩年，SSD盤、25G/100G網路卡的引入，逐步消除了磁碟IO瓶頸和網路IO瓶頸，導致架構有所演進，出現DMA、RDMA、SPDK、DPDK這類技術。新硬體的出現，使得傳統的瓶頸點發生轉移，迫使架構朝零拷貝技術、低延遲大頻寬網路、旁路核心的方向演進。

周超勇提到，CDN架構多數是在開源基礎上演進而來，覆蓋若干開源專案，並開展定製化改造工作。部分有實力的企業開展自研，但產品技術棧也會覆蓋若干開源專案。因此，“CDN架構 = 開源專案 + 定製化改造”並無不妥。

但是，必須明確指出：CDN架構，特別是CACHE的架構，用到的開源專案只是給了一個基本的腳手架，重點還是在定製化改造。這是由客戶業務需求的多樣性、需求滿足的及時性、和成本控制的精細度決定的，它要求企業必須對軟體有足夠強的掌控能力、深度定製改造能力。“早前藍汛在SQUID上拉起的一套框架是個例子，後來叢集化部署架構是個例子，快取儲存則是個教訓。”周超勇如是說，他認為架構的深度改造、融合嫁接、拆分組合，應視為研發的常態化動作。

此外他認為，CDN架構的演進是市場競爭、客戶需求和硬體發展共同推進的結果，逐步從定製化需求為主，過渡到流量為主，過渡到軟硬結合控制成本為主。CDN業務發展到以控制成本為主時，表明商業運營已步入紅海，業務形態進入穩態或死海。但20年來CDN發展沉澱下來的技術架構、網路運營和商業模式可以遷移，比如從內容分發網路遷移至算力分發網路、服務分發網路。而CDN架構的這些演變，可以視為IT架構演變的一個縮影。

儲存市場未來大概率會被NVMe盤統一

當提到儲存市場的未來，周超勇認為，儲存市場未來大概率會被NVMe盤統一。而針對這一預測，周超勇也進行了詳盡的說明：

●PCIe換代突破頻寬限制：未來幾年儲存技術變革將會呈現加速發展的趨勢，PCIe 將從現在的PCIe Gen3快速迭代到PCIe Gen6，每提升一代，單位頻寬將提升一倍;也就是說5年後的PCIe的單位頻寬將是現在的8倍;而SATA介面的速度則不會繼續提升，和NVME 的理論頻寬差距將從現在的6倍拉大到48倍。在分散式儲存領域，傳統SATA機械盤的IO瓶頸將相對更加突出。

●儲存介質變革突破容量和效能限制：磁性介質不可能在容量上有大的突破; SATA SSD受限於SATA介面，效能僅能達到SATA HDD翻倍的效果，而且容量小，成本高;而基於PCIe的NVMe盤容量取決於電子技術水平，俘獲電子能力越強，電壓測量精度越高，容量越大，很容易實現翻倍，2T/4T/8T已規模應用，16T/32T在路上，64T不是夢。基於NVMe的QLC和PLC SSD將很好的平衡價格和每GB的效能。

●儲存介質進一步突破：對比介面速度的提升，NAND介質的效能將成為新的IO瓶頸，這會馬上發生在明年的PCIe Gen4的伺服器平臺上。革命性的SCM介質將接棒NAND SSD，作為本地快速儲存引擎的主要材質，提供高頻寬、低延遲的服務。

相約SACC 2020：探討高效能儲存系統 XFS 的架構實踐

周超勇作為SACC中國系統架構師大會的老朋友，將於今年10月22日~24日舉辦的第十二屆中國系統架構師大會(SACC2020)上，以《高效能儲存系統 XFS 的架構實踐》為題展開精彩的議題分享。

根據周超勇介紹，XFS 是一款使用者空間的面向小檔案的、帶目錄的、高效能儲存系統，目前為成熟態，開源。XFS 起源於CDN CACHE 儲存，而像XFS這種帶目錄的儲存也是十分罕見。XFS究竟有哪些優勢，又能滿足使用者哪些實際需求?我們先來賣個關子，感興趣的朋友到時候我們雲端會議見!

2020年10月22日~24日，由IT168旗下ITPUB企業社群平臺主辦的第十二屆中國系統架構師大會(SACC2020)將在雲端進行網路直播。自2009年以來，SACC架構師大會已成功舉辦了十一屆，雲集了國內CTO、研發總監、高階系統架構師、開發工程師和IT經理等技術人群，與會規模超千人。

2020年即將迎來SACC中國系統架構師大會的12歲生日，恰逢一個小輪迴。SACC2020 中國系統架構師大會已經整裝待發，奮起逆襲，期待您的報名參與，我們共襄盛舉!欲瞭解更多有關大會的精彩內容請訪問SACC2020官網： http://sacc.it168.com/index.html