網路協議之:基於UDP的高速資料傳輸協議UDT

flydean發表於2021-12-13

簡介

簡單就是美。在網路協議的世界中,TCP和UDP是建立在IP協議基礎上的兩個非常通用的協議。我們現在經常使用的HTTP協議就是建立在TCP協議的基礎上的。相當於TCP的穩定性來說,UDP因為其資料傳輸的不可靠性,所以用在某些特定的場合,如直播、廣播訊息、視訊音訊流處理等不太需要校驗資料完整性的場合。

UDP相對TCP協議而言,其特點就是簡潔,它刪除了在TCP協議中為了保證訊息準確性的各種限制性特徵。簡潔帶來的好處就是快!今天給大家講解一下,基於UDP的高速資料傳輸協議UDT。

UDT協議

UDP因為其簡單的特性,所以可以做到很多TCP做不到的事情,比如進行大資料量的快速傳輸。這裡並不是要將TCP和UDP分個好壞高下,畢竟各個協議的適應場景不同,他們之所以流行,就是因為可以在特定的場景發揮出重要的作用。套用中國的一句諺語就是:不管白貓黑貓,能抓到老鼠的,就是好貓。

用好UDP協議,我們就可以快速的傳遞大量的資料,這個協議就是UDT協議。

話說,像這些基礎協議都是老外發明的,而中國的網際網路巨頭都在搶著做平臺、做流量的生意,真的是無話可說....

UDT專案開始於2001年,是由Yunhong Gu在芝加哥伊利諾伊大學國家資料探勘中心 (NCDM)讀博士期間開發的,並在畢業之後持續的進行維護和升級改進。

UDP的出現是因為那時候,傳輸更快更便宜的光纖網路出現了,代替了之前的銅纜線和雙絞線,從而極大的提升了資訊傳輸的效率。這時候大家就發現之前使用TCP協議來進行大資料的傳輸會有很大的問題。從而基於UDP的UDT協議出現了。

UDT的第一個版本,也稱為SABUL(Simple Available Bandwidth Utility Library),UDT通過支援批量資料傳輸,從而方便在私有網路中進行資料的傳輸。

要注意的是UDT的第一個版本SABUL使用UDP協議進行傳輸資料,同時使用單獨的TCP協議連線傳輸控制訊息。

UDT的初始版本是在超高速網路(1 Gbit/s、10 Gbit/s等)上進行開發和測試的,2003年10月,NCDM實現了從美國芝加哥到荷蘭阿姆斯特丹的平均每秒6.8G位元的傳輸。在30分鐘內的測試中,他們傳輸了大約1.4TB的資料。

從2004年釋出的2.0版本開始,SABUL改名為UDT,UDT的全稱是UDP-based Data Transfer Protocol,也就是基於UDP的資料傳輸協議。

為什麼要改成UDT呢?因為在UDT2.0中,刪除了SABUL中的TCP 控制連線,並使用UDP來處理資料和控制資訊。 另外,UDT2還引入了一種新的擁塞控制演算法,允許協議動態調整UDT和TCP流,實現UDT和TCP流的併發執行。

在2006年,UDT協議升級到了3版本,該協議不僅是在私有網路中執行了,而是擴充套件到了商業網際網路中。同時UDT3中的擁塞控制可以進行調整優化,可以在低頻寬的環境中執行,並且允許使用者輕鬆定義和安裝自己的擁塞控制演算法。另外,UDT3還顯著減少了系統資源(CPU和記憶體)的使用。

2007年,UDT4版本在高併發和防火牆穿透方面進行優化和效能的提升。UDT4允許多個UDT連線繫結到同一個UDP埠,它還支援集合連線設定,以便UDP hole punching。

什麼是UDP hole punching呢?

UDP hole punching通常被用在網路地址轉換 (NAT)中。用來維護穿越NAT的使用者UDP資料包流。它是一種使用網路地址轉換器在專用網路中的Internet主機之間建立雙向UDP連線的方法。

什麼是NAT呢?

大家都知道IPV4地址是有限的,很快IPV4地址就快用完了,那怎麼解決這個問題呢?

當然,一個永久解決的辦法是IPV6,不過IPV6推出這麼多年了,好像還沒有真正的普及。

不使用IPV6的話還有什麼解決辦法呢?

這個辦法就是NAT(Network Address Translators)。

NAT的原理是將區域網的IP和埠和NAT裝置的IP和埠做個對映。

NAT內部維護著一張轉換表。這樣就可以通過一個NAT的IP地址和不同的埠來連線眾多的區域網伺服器。

那麼NAT有什麼問題呢?

NAT的問題在於,內部客戶端不知道自己外網IP地址,只知道內網IP地址。

如果是在UDP協議中,因為UDP是無狀態的,所以需要NAT來重寫每個UDP分組中的源埠、地址,以及IP分組中的源IP地址。

如果客戶端是在應用程式內部將自己的IP地址告訴伺服器,並想跟伺服器建立連線,那麼肯定是建立不了的。因為找不到客戶端的公網IP。

即使找到了公網IP,任何到達NAT裝置外網IP的分組還必須有一個目標埠,而且NAT轉換表中也要有一個條目可以將其轉換為內部主機的IP地址和埠號。否則就可能出現下圖的連線失敗的問題。

怎麼解決呢?

第一種方式是使用STUN伺服器。

STUN伺服器是IP地址已知的伺服器,客戶端要通訊之前,先去STUN伺服器上面查詢一下自己的外網IP和埠,然後再使用這個外網IP和埠進行通訊。

但有時UDP包會被防火牆或者其他的應用程式所阻擋。這個時候就可以使用中繼器技術Traversal Using Relays around NAT (TURN) 。

雙方都將資料傳送到中繼器server,由中繼器server來負責轉發資料。注意,這裡已經不是P2P了。

最後,我們有一個集大成者的協議叫做ICE(Interactive Connectivity Establishment ):

它實際上就是直連,STUN和TURN的綜合體,能直連的時候就直連,不能直連就用STUN,不能用STUN就用TURN。

在使用STUN和ICE的過程中,我們會有一臺網路主機用來建立埠對映和保持其他UDP埠狀態,但是UDP的狀態通常在幾十秒到幾分鐘的短時間後過期,為了保證NAT中UDP的狀態和生命週期,於是有了UDP hole punching的技術。通過定時傳輸keep-alive資料包,對NAT中的UDP狀態進行更新。

UDT的缺點

因為UDT是基於UDP協議的,但是UDP協議因為其簡潔的特性,所以並不具備安全性的特徵。所以基於其上的UDT協議因為缺乏安全特性,所以在商業環境中應用會受到一定的限制。

不過UDT的新版本已經在開發中,大家可以期待一下。

總結

UDT被廣泛用於高效能運算,比如光纖網路上的高速資料傳輸。我們後續會在netty中告訴大家怎麼使用UDT協議。

本文已收錄於 http://www.flydean.com/11-udt/

最通俗的解讀,最深刻的乾貨,最簡潔的教程,眾多你不知道的小技巧等你來發現!

歡迎關注我的公眾號:「程式那些事」,懂技術,更懂你!

相關文章