RDMA:遠端直接存取資料,國產網路卡
各式各樣的資料在網路介質中透過網路協議(如TCP/IP)進行傳輸時,如果資訊量過大而不加以限制的話,那麼超額的網路流量就會導致裝置反應緩慢,由此就造成了網路延遲。
延遲越低越好,效率越高越好,這不僅僅是資料中心網路的要求,我們平常使用的內部網路同樣也希望如此。當前的網路速度有萬兆、2.5萬兆、4萬兆,甚至10萬兆、20萬兆……的趨勢都已經來了,網路頻寬似乎已經不是主要的瓶頸了,而伺服器系統和CPU本身逐步轉為了制約網路I/O的瓶頸,影響伺服器的整體效能。
1. 如何解決問題?
解決問題的基本思路就是:透過應用程式直接讀取和寫入遠端記憶體,而無需CPU介入進行多次複製記憶體,還可繞過核心直接向網路卡寫資料,實現了高吞吐量、超低時延和低CPU開銷的效果。
實現這樣功能的技術就是RDMA(Remote Direct Memory Access)技術,也就把RDMA【遠端直接資料存取】技術運用到了網路卡控制器上。
那麼具有RDMA功能的網路卡和不具有RDMA網路卡的有什麼不同呢?
首先不具備RDMA功能的網路卡的傳輸路徑過程是:應用程式--->系統--->記憶體--->CPU--->記憶體--->硬碟---->記憶體--->網路卡。
而具有RDMA功能的網路卡,在進行資料傳輸時候,網路卡繞過CPU來實現伺服器間的記憶體資料交換:應用程式--->記憶體--->硬碟---->記憶體--->網路卡。大大地簡化了過程,傳輸效率有了明顯的提升。
(綠色表示RDMA的工作路徑,橙色表示不具有RDMA功能的工作路徑)
RDMA作為一種硬體實現的網路傳輸技術,可以大幅提升網路傳輸實效,幫助網路IO密集的業務(比如分散式儲存、分散式資料庫等)獲得更低的時延以及更高的吞吐。
目前市場上能夠支援RDMA功能的網路卡產品並不普及,如我們熟知的Intel網路卡,也只在X722-da2/da4上加入了單一的iWARP功能。
而由深圳市聯瑞電子有限公司推出的三款國產萬兆光纖網路卡:聯瑞LRES1004PF-2SFP+、聯瑞LRES1005PF-4SFP+、聯瑞LRES1009PF-SFP+均具有RoCE和iWARP的RDMA功能,同時成為國內首批具有RDMA功能的國產網路卡之一。接下來還會有25G的支援RDMA的光纖網路卡上市,我們拭目以待。
2. RDMA的應用
(1)在伺服器群集上應用
RDMA用來把小型伺服器連線為一個群集;可以處理一些十幾顆處理器的高階伺服器才能夠處理的大型資料庫。
(2)在高速叢集和伺服器區域網上應用
採用RDMA來獲取高效能的協議,包括SDP(Sockets Direct Protocol)、SRP(SCSI RDMA Protocol)和DAFS(Direct Access File System);
(3)在分散式應用程式的叢集上應用
採用RDMA的通訊庫,包括DAPL(Direct Access Provider Library)、MPI(Message Passing Interface)和VIPL(Virtual Interface Provider Library),執行在分散式應用程式的叢集是RDMA 能夠大顯身手的領域之一;
透過DAPL或VIPL以及叢集上執行的資料庫軟體來使用RDMA,可在相同的節點數目下獲得更高的效能和更好的延展性。使用MPI的叢集科技運算應用程式,透過支援互連RDMA 實現了低延遲時間低開銷和高吞吐量,這一結果也使它獲得了巨大的效能提升其他初期的RDMA 應用;
iWARP/RDMA這類技術是透過DAFS的遠端檔案伺服器訪問、透過SRP的儲存裝置訪問RDMA技術成為高速叢集系統和儲存域網路的基本特徵技術。
還有用於RDMA的iSCSI擴充套件的iSER,充分利用了RDMA的功能。
RDMA的其他早期應用還有透過DAFS的遠端檔案伺服器訪問和透過SRP的刀鋒伺服器儲存訪問。
(4)在NAS和SAN上應用
傳統的直連儲存DAS是以伺服器為中心的儲存結構,這一儲存體系結構存在容量限制、連線距離有限、不易於共享和管理等不可克服的缺點。已經不能夠滿足網路時代的應用需求,
儲存技術發生巨大變化出現了,出現瞭如:網路附加儲存NAS、儲存區域網路SAN。這些既能為網路上的應用系統提供豐富快速簡便的儲存資源,又能共享儲存資源並對其實施集中管理,成為當前理想的儲存管理和應用模式,
但NAS結構存在一些難以解決的問題如:傳輸能力有限、可擴充套件性有限、資料備份能力有限、並且不能對資料庫服務提供有效的支援。
DAFS把RDMA的優點和NAS的儲存能力整合在一起,全部的讀寫操作都直接透過RDMA驅動器執行,從而降低了網路檔案協議所帶來的系統負載,今後的NAS儲存系統將會採用DAFS技術來提高系統效能,並且在效能和價格上與SAN 儲存系統進行有力的競爭。
(5)在高效能資料中心上應用
資料中心、AI訓練、雲端儲存等
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69968906/viewspace-2689018/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 持久記憶體-RDMA讓遠端資料不再遠記憶體
- RDMA網路下重思資料庫高可用資料庫
- 國產網路卡:你可以越來越相信國產
- 用於大資料儲存:國產10G光纖網路卡大資料
- 技術乾貨:如何選擇最適合自己的RDMA網路卡
- 物聯網終端裝置——遠端資料採集儀
- vnc遠端用外網遠端公司內網,3步實現vnc遠端用外網遠端公司內網VNC內網
- 網路安全網路卡避免資料“裸奔”
- 資料同步——rsync遠端同步
- 遠端, 資料夾遍歷
- expdp遠端匯出資料
- shell插入遠端mysql資料MySql
- 遠端資料庫恢復資料庫
- 國產光纖網路卡:助力影視產業發展產業
- 國產光纖網路卡:助力院校科學研究
- 國產網路卡:虛擬化應用,民族品牌
- 迎風而上:國產網路卡再賦能
- 國產PLC遠端監控物聯網平臺有什麼功能
- NAS如何遠端備份資料
- 遠端連線mysql資料庫MySql資料庫
- JavaScript解析遠端json資料JavaScriptJSON
- Rsync資料遠端同步備份
- DUPLICATE遠端複製資料庫資料庫
- IMPDP匯入遠端資料庫資料庫
- 國產網路卡,為國家資訊保安保駕護航
- oracle取客戶端網路卡地址Oracle客戶端
- NAS如何掛載遠端資料夾
- Oracle expdp資料泵遠端匯出Oracle
- ORACLE 配置連線遠端資料庫Oracle資料庫
- 資料庫遠端檔案匯入資料庫
- 多個遠端資料庫查詢資料庫
- 遠端資料庫的訪問 (轉)資料庫
- 資料庫遠端連線失敗資料庫
- 插入遠端資料庫資料遇到分割槽表bug資料庫
- 連線資料之遠端呼叫Access資料庫(轉)資料庫
- bypass網路卡:助力網路安全 掌控資料主權
- [RDMA] RDMA的不同操作是否保證順序?
- 新品釋出:國產單電口千兆網路卡正式量產!