技術乾貨：如何選擇最適合自己的RDMA網路卡

      近些年來， RDMA網路卡的技術應用在全球乙太網通訊市場上颳起一股旋風，特別是阿里、騰訊、浪潮、超微、聯想等一些網際網路巨頭企業在伺服器上大量部署RDMA網路卡。2019年，據官方資料包道，天貓雙11當天成交額達到2684億元， 訂單創新峰值達到 54.4萬筆/秒，單日資料處理量達到970PB， 這個驚為天人的數值出現，再一次將 RDMA網路卡的應用推上話題的頂峰。

但是很多使用者表示，看著這資料很牛逼，但是 RDMA網路卡到底在實際環境中是如何應用的，則是表示一頭霧水。其實對於 的實際應用，並沒有大家想象中的那麼神祕，RDMA網路卡的出現，實際上是為了解決伺服器端資料處理延遲而產生的，也就是說，RDMA網路卡誕生的使命，就是降低CPU負荷，提高網路吞吐量，降低網路延遲。

一、 RDMA概念

RDMA（英文全稱：Remote Direct Memory Access），意思是遠端直接記憶體訪問，這種技術是一種最早應用於高效能運算領域的網路通訊協議，目前已在資料中心逐漸普及。RDMA允許使用者程式繞過作業系統核心（CPU），直接和網路卡互動進行網路通訊，從而提供高頻寬和極小時延。 所以 R DMA網路卡 的 工作原理 是， 與傳統的 TCP/CP網路卡相比，RDMA網路卡省略了核心（CPU）的參與，所有資料的傳輸直接從應用程式到達網路卡。

第二、 RDMA三種網路協議

目前， RDMA大體有 Infiniband、RoCE、iWARP三種網路協議

1.   Infiniband是一種專為RDMA量身定做的網路協議，可以從硬體級別上保證資料傳輸的可靠性。雖然InfiniBand技術規格及標準規範 在 2000年正式發表，但InfiniBand Architecture(IBA)在叢集式超級計算機上得到廣泛應用 的時間卻是在 2005年以後。發展緩慢的最大原因就是Infiniband要求從L2到L4到需要自己的專用硬體，企業成本非常高，現在做InfiniBand網路的廠商主要是Mellanox。

2.  RoCE是一個允許在乙太網上執行RDMA的網路協議，可分為RoCE v1和RoCE v2，很多網友認為RoCE本身的架構是InfiniBand嫁接過來的，因為RoCE較低的網路標頭是乙太網標頭，較高的網路標頭是InfiniBand標頭。是Mellanox(支援RoCE v1)為符合市場需求推出的低成本的InfiniBand網路。

     RoCE網路要求有無損乙太網才能實現低延遲執行，也這意味著整合到網路中的乙太網交換機必須支援資料中心橋接(DCB)和優先流控制(PFC)機制，以此才能維持無損流量。但無損乙太網的難點在於，在現代化的企業環境中配置是一個複雜的流程，並且可擴充套件性會受到很大的侷限，不過這對於財力雄厚的企業來說不是問題。其次，RoCE對於機架伺服器或者主機，則直接使用網路卡就可以。

3.   iWARP  是一個允許在 TCP上執行RDMA的網路協議， 它的優點是能夠執行在當今的標準 TCP/IP網路中，只需要採購支援iWARP的網路卡就可以採用RDMA，對於財務預算略低的小企業來說，尤為適用。但它的缺點就是在效能上略差於RoCE，畢竟一分價錢一分貨，這個道理從古至今一直適用。

 

第三、 RDMA網路卡品牌如何選擇

常言道，貨比三家，對於 RDMA網路卡品牌選擇的同樣適用。縱觀全球市場，現在做RDMA網路卡的品牌廠商主要有三大巨頭企業，分別是 Marvell、intel、 Mellanox，其中Marvell是收購的Qlogic品牌，Mellanox被英偉達收購。

話說回來，在 RDMA網路卡上我們如何選擇品牌廠商？首先我們知道Mellanox的Infiniband網路是RDMA網路卡效能最好的代表，可以從硬體傳輸上保證可靠性，但要求整個生態環境必須配備專用的硬體，雖然現在已經發布支援乙太網的RDMA網路卡，但是這種RDMA網路卡只支援RoCE v1，這就要求交換機上必須滿足優先流控制(PFC)機制，成本昂貴，就這一項，已將絕大多數資料中心企業排除在門外。

剩下的就只有 RoCE v2和iWARP，Intel是美國一家主要做CPU 處理的公司，在 800系列的乙太網控制器上已支援RDMA效能（RoCE v2和iWARP協議），RoCE v2是RoCE v1的升級版，最大的改進是支援IP路由，其中 iWARP協議最大的特點是可以在任意IP網路上執行，不再侷限相關硬體配套裝置的相容性，從這一點上來看， Intel 公司和Mellanox公司相比，Intel的RDMA網路卡更具有生態相容性以及價效比性。

Marvell我們前面講過，他是收購的Qlogic品牌，Qlogic品牌在光纖通道市場擁有絕對的話語權，全球眾多企業客戶都採用QLogic的方案，在RDMA上，Qlogic和Intel一樣做到做到對RoCE和iWARP不存在任何偏見，客戶能夠在同一個介面卡上同時使用RoCE和iWARP協議，只是目前Marvell公司對外發布宣告，明年乙太網網路控制器將停產，這是一個非常遺憾的訊息。

第四、國內自主研發 RDMA網路卡廠商

除上述三大巨頭企業外，國內仍有很多具有雄厚自主研發能力的 RDMA網路卡廠商，比如說 深圳市聯瑞電子有限公司。2019年，深圳市聯瑞電子有限公司（以下簡稱：LR-LINK聯瑞）與Marvell達成戰略合作關係，憑藉Qlogic在光纖通道的強大實力，打造專供於伺服器領域的RDMA網路卡。主要推出的有雙口/四口萬兆網路卡（型號：LRES1004PF-2SFP+，LRES1005PF-4SFP+），25G伺服器網路卡、萬兆和25G OCP 3.0網路卡等，由於Marvell乙太網網路控制器明年將停產，所以目前LR-LINK聯瑞現存的Marvell網路卡（RDMA功能）更多供老客戶訂購。

除此之外， 2020年6月以後，LR-LINK聯瑞開始逐步自主研發基於 Intel  80 0系列的乙太網卡介面卡，目前已正常銷售的成品有100G雙光口伺服器網路卡，100G單光口伺服器網路卡，25G雙光口伺服器網路卡；目前在研年底上市的有25G四光口伺服器網路卡，25G雙光口OCP3.0網路卡和100G雙光口OCP 3.0網路卡等，在效能上均具有低延遲，高網路吞吐量，節約CPU開銷等優異特性，支援 RDMA功能。

未來，伴隨企業領域對資料中心資料處理需求的高速飛漲， LR-LINK將持續發揮行業優勢，創新研發更多具備高效能、高吞吐量、低延遲等特性網路卡，始終致力為全球客戶提供卓越效能的專業網路卡解決方案。