每日一句英語學習,每天進步一點點:
前言
不管面試 Java 、C/C++、Python 等開發崗位, TCP
的知識點可以說是的必問的了。
任 TCP 虐我千百遍,我仍待 TCP 如初戀。
遙想小林當年校招時常因 TCP
面試題被刷,真是又愛又狠….
過去不會沒關係,今天就讓我們來消除這份恐懼,微笑著勇敢的面對它吧!
所以小林整理了關於 TCP 三次握手和四次揮手的面試題型,跟大家一起探討探討。
- TCP 基本認識
- TCP 連線建立
- TCP 連線斷開
- Socket 程式設計
PS:本次文章不涉及 TCP 流量控制、擁塞控制、可靠性傳輸等方面知識,這些留在下篇哈!
正文
01 TCP 基本認識
瞧瞧 TCP 頭格式
我們先來看看 TCP 頭的格式,標註顏色的表示與本文關聯比較大的欄位,其他欄位不做詳細闡述。
TCP 頭格式序列號:在建立連線時由計算機生成的隨機數作為其初始值,通過 SYN 包傳給接收端主機,每傳送一次資料,就「累加」一次該「資料位元組數」的大小。用來解決網路包亂序問題。
確認應答號:指下一次「期望」收到的資料的序列號,傳送端收到這個確認應答以後可以認為在這個序號以前的資料都已經被正常接收。用來解決不丟包的問題。
控制位:
- ACK:該位為
1
時,「確認應答」的欄位變為有效,TCP 規定除了最初建立連線時的SYN
包之外該位必須設定為1
。 - RST:該位為
1
時,表示 TCP 連線中出現異常必須強制斷開連線。 - SYC:該位為
1
時,表示希望建立連,並在其「序列號」的欄位進行序列號初始值的設定。 - FIN:該位為
1
時,表示今後不會再有資料傳送,希望斷開連線。當通訊結束希望斷開連線時,通訊雙方的主機之間就可以相互交換FIN
位置為 1 的 TCP 段。
為什麼需要 TCP 協議? TCP 工作在哪一層?
IP
層是「不可靠」的,它不保證網路包的交付、不保證網路包的按序交付、也不保證網路包中的資料的完整性。
如果需要保障網路資料包的可靠性,那麼就需要由上層(傳輸層)的 TCP
協議來負責。
因為 TCP 是一個工作在傳輸層的可靠資料傳輸的服務,它能確保接收端接收的網路包是無損壞、無間隔、非冗餘和按序的。
什麼是 TCP ?
TCP 是面向連線的、可靠的、基於位元組流的傳輸層通訊協議。
-
面向連線:一定是「一對一」才能連線,不能像 UDP 協議 可以一個主機同時向多個主機傳送訊息,也就是一對多是無法做到的;
-
可靠的:無論的網路鏈路中出現了怎樣的鏈路變化,TCP 都可以保證一個報文一定能夠到達接收端;
-
位元組流:訊息是「沒有邊界」的,所以無論我們訊息有多大都可以進行傳輸。並且訊息是「有序的」,當「前一個」訊息沒有收到的時候,即使它先收到了後面的位元組已經收到,那麼也不能扔給應用層去處理,同時對「重複」的報文會自動丟棄。
什麼是 TCP 連線?
我們來看看 RFC 793 是如何定義「連線」的:
Connections: The reliability and flow control mechanisms described above require that TCPs initialize and maintain certain status information for each data stream. The combination of this information, including sockets, sequence numbers, and window sizes, is called a connection.
簡單來說就是,用於保證可靠性和流量控制維護的某些狀態資訊,這些資訊的組合,包括Socket、序列號和視窗大小稱為連線。
所以我們可以知道,建立一個 TCP 連線是需要客戶端與伺服器端達成上述三個資訊的共識。
- Socket:由 IP 地址和埠號組成
- 序列號:用來解決亂序問題等
- 視窗大小:用來做流量控制
如何唯一確定一個 TCP 連線呢?
TCP 四元組可以唯一的確定一個連線,四元組包括如下:
- 源地址
- 源埠
- 目的地址
- 目的埠
源地址和目的地址的欄位(32位)是在 IP 頭部中,作用是通過 IP 協議傳送報文給對方主機。
源埠和目的埠的欄位(16位)是在 TCP 頭部中,作用是告訴 TCP 協議應該把報文發給哪個程式。
有一個 IP 的伺服器監聽了一個埠,它的 TCP 的最大連線數是多少?
伺服器通常固定在某個本地埠上監聽,等待客戶端的連線請求。
因此,客戶端 IP 和 埠是可變的,其理論值計算公式如下:
對 IPv4,客戶端的 IP 數最多為 2
的 32
次方,客戶端的埠數最多為 2
的 16
次方,也就是服務端單機最大 TCP 連線數,約為 2
的 48
次方。
當然,服務端最大併發 TCP 連線數遠不能達到理論上限。
- 首先主要是檔案描述符限制,Socket 都是檔案,所以首先要通過
ulimit
配置檔案描述符的數目; - 另一個是記憶體限制,每個 TCP 連線都要佔用一定記憶體,作業系統是有限的。
UDP 和 TCP 有什麼區別呢?分別的應用場景是?
UDP 不提供複雜的控制機制,利用 IP 提供面向「無連線」的通訊服務。
UDP 協議真的非常簡,頭部只有 8
個位元組( 64 位),UDP 的頭部格式如下:
- 目標和源埠:主要是告訴 UDP 協議應該把報文發給哪個程式。
- 包長度:該欄位儲存了 UDP 首部的長度跟資料的長度之和。
- 校驗和:校驗和是為了提供可靠的 UDP 首部和資料而設計。
TCP 和 UDP 區別:
1. 連線
- TCP 是面向連線的傳輸層協議,傳輸資料前先要建立連線。
- UDP 是不需要連線,即刻傳輸資料。
2. 服務物件
- TCP 是一對一的兩點服務,即一條連線只有兩個端點。
- UDP 支援一對一、一對多、多對多的互動通訊
3. 可靠性
- TCP 是可靠交付資料的,資料可以無差錯、不丟失、不重複、按需到達。
- UDP 是盡最大努力交付,不保證可靠交付資料。
4. 擁塞控制、流量控制
- TCP 有擁塞控制和流量控制機制,保證資料傳輸的安全性。
- UDP 則沒有,即使網路非常擁堵了,也不會影響 UDP 的傳送速率。
5. 首部開銷
- TCP 首部長度較長,會有一定的開銷,首部在沒有使用「選項」欄位時是
20
個位元組,如果使用了「選項」欄位則會變長的。 - UDP 首部只有 8 個位元組,並且是固定不變的,開銷較小。
TCP 和 UDP 應用場景:
由於 TCP 是面向連線,能保證資料的可靠性交付,因此經常用於:
FTP
檔案傳輸HTTP
/HTTPS
由於 UDP 面向無連線,它可以隨時傳送資料,再加上UDP本身的處理既簡單又高效,因此經常用於:
- 包總量較少的通訊,如
DNS
、SNMP
等 - 視訊、音訊等多媒體通訊
- 廣播通訊
為什麼 UDP 頭部沒有「首部長度」欄位,而 TCP 頭部有「首部長度」欄位呢?
原因是 TCP 有可變長的「選項」欄位,而 UDP 頭部長度則是不會變化的,無需多一個欄位去記錄 UDP 的首部長度。
為什麼 UDP 頭部有「包長度」欄位,而 TCP 頭部則沒有「包長度」欄位呢?
先說說 TCP 是如何計算負載資料長度:
其中 IP 總長度 和 IP 首部長度,在 IP 首部格式是已知的。TCP 首部長度,則是在 TCP 首部格式已知的,所以就可以求得 TCP 資料的長度。
大家這時就奇怪了問:“ UDP 也是基於 IP 層的呀,那 UDP 的資料長度也可以通過這個公式計算呀? 為何還要有「包長度」呢?”
這麼一問,確實感覺 UDP 「包長度」是冗餘的。
因為為了網路裝置硬體設計和處理方便,首部長度需要是 4
位元組的整數倍。
如果去掉 UDP 「包長度」欄位,那 UDP 首部長度就不是 4
位元組的整數倍了,所以小林覺得這可能是為了補全 UDP 首部長度是 4
位元組的整數倍,才補充了「包長度」欄位。
02 TCP 連線建立
TCP 三次握手過程和狀態變遷
TCP 是面向連線的協議,所以使用 TCP 前必須先建立連線,而建立連線是通過三次握手而進行的。
TCP 三次握手- 一開始,客戶端和服務端都處於
CLOSED
狀態。先是服務端主動監聽某個埠,處於LISTEN
狀態
- 客戶端會隨機初始化序號(
client_isn
),將此序號置於 TCP 首部的「序號」欄位中,同時把SYN
標誌位置為1
,表示SYN
報文。接著把第一個 SYN 報文傳送給服務端,表示向服務端發起連線,該報文不包含應用層資料,之後客戶端處於SYN-SENT
狀態。
- 服務端收到客戶端的
SYN
報文後,首先服務端也隨機初始化自己的序號(server_isn
),將此序號填入 TCP 首部的「序號」欄位中,其次把 TCP 首部的「確認應答號」欄位填入client_isn + 1
, 接著把SYN
和ACK
標誌位置為1
。最後把該報文發給客戶端,該報文也不包含應用層資料,之後服務端處於SYN-RCVD
狀態。
-
客戶端收到服務端報文後,還要向服務端回應最後一個應答報文,首先該應答報文 TCP 首部
ACK
標誌位置為1
,其次「確認應答號」欄位填入server_isn + 1
,最後把報文傳送給服務端,這次報文可以攜帶客戶到伺服器的資料,之後客戶端處於ESTABLISHED
狀態。 -
伺服器收到客戶端的應答報文後,也進入
ESTABLISHED
狀態。
從上面的過程可以發現第三次握手是可以攜帶資料的,前兩次握手是不可以攜帶資料的,這也是面試常問的題。
一旦完成三次握手,雙方都處於 ESTABLISHED
狀態,此致連線就已建立完成,客戶端和服務端就可以相互傳送資料了。
如何在 Linux 系統中檢視 TCP 狀態?
TCP 的連線狀態檢視,在 Linux 可以通過 netstat -napt
命令檢視。
為什麼是三次握手?不是兩次、四次?
相信大家比較常回答的是:“因為三次握手才能保證雙方具有接收和傳送的能力。”
這回答是沒問題,但這回答是片面的,並沒有說出主要的原因。
在前面我們知道了什麼是 TCP 連線:
- 用於保證可靠性和流量控制維護的某些狀態資訊,這些資訊的組合,包括Socket、序列號和視窗大小稱為連線。
所以,重要的是為什麼三次握手才可以初始化Socket、序列號和視窗大小並建立 TCP 連線。
接下來以三個方面分析三次握手的原因:
- 三次握手才可以阻止重複歷史連線的初始化(主要原因)
- 三次握手才可以同步雙方的初始序列號
- 三次握手才可以避免資源浪費
原因一:避免歷史連線
我們來看看 RFC 793 指出的 TCP 連線使用三次握手的首要原因:
The principle reason for the three-way handshake is to prevent old duplicate connection initiations from causing confusion.
簡單來說,三次握手的首要原因是為了防止舊的重複連線初始化造成混亂。
網路環境是錯綜複雜的,往往並不是如我們期望的一樣,先傳送的資料包,就先到達目標主機,反而它很騷,可能會由於網路擁堵等亂七八糟的原因,會使得舊的資料包,先到達目標主機,那麼這種情況下 TCP 三次握手是如何避免的呢?
三次握手避免歷史連線客戶端連續傳送多次 SYN 建立連線的報文,在網路擁堵等情況下:
- 一個「舊 SVN 報文」比「最新的 SYN 」 報文早到達了服務端;
- 那麼此時服務端就會回一個
SYN + ACK
報文給客戶端; - 客戶端收到後可以根據自身的上下文,判斷這是一個歷史連線(序列號過期或超時),那麼客戶端就會傳送
RST
報文給服務端,表示中止這一次連線。
如果是兩次握手連線,就不能判斷當前連線是否是歷史連線,三次握手則可以在客戶端(傳送方)準備傳送第三次報文時,客戶端因有足夠的上下文來判斷當前連線是否是歷史連線:
- 如果是歷史連線(序列號過期或超時),則第三次握手傳送的報文是
RST
報文,以此中止歷史連線; - 如果不是歷史連線,則第三次傳送的報文是
ACK
報文,通訊雙方就會成功建立連線;
所以, TCP 使用三次握手建立連線的最主要原因是防止歷史連線初始化了連線。
原因二:同步雙方初始序列號
TCP 協議的通訊雙方, 都必須維護一個「序列號」, 序列號是可靠傳輸的一個關鍵因素,它的作用:
- 接收方可以去除重複的資料;
- 接收方可以根據資料包的序列號按序接收;
- 可以標識傳送出去的資料包中, 哪些是已經被對方收到的;
可見,序列號在 TCP 連線中佔據著非常重要的作用,所以當客戶端傳送攜帶「初始序列號」的 SYN
報文的時候,需要服務端回一個 ACK
應答報文,表示客戶端的 SVN 報文已被服務端成功接收,那當服務端傳送「初始序列號」給客戶端的時候,依然也要得到客戶端的應答回應,這樣一來一回,才能確保雙方的初始序列號能被可靠的同步。
四次握手其實也能夠可靠的同步雙方的初始化序號,但由於第二步和第三步可以優化成一步,所以就成了「三次握手」。
而兩次握手只保證了一方的初始序列號能被對方成功接收,沒辦法保證雙方的初始序列號都能被確認接收。
原因三:避免資源浪費
如果只有「兩次握手」,當客戶端的 SYN
請求連線在網路中阻塞,客戶端沒有接收到 ACK
報文,就會重新傳送 SYN
,由於沒有第三次握手,伺服器不清楚客戶端是否收到了自己傳送的建立連線的 ACK
確認訊號,所以每收到一個 SYN
就只能先主動建立一個連線,這會造成什麼情況呢?
如果客戶端的 SYN
阻塞了,重複傳送多次 SYN
報文,那麼伺服器在收到請求後就會建立多個冗餘的無效連結,造成不必要的資源浪費。
即兩次握手會造成訊息滯留情況下,伺服器重複接受無用的連線請求 SYN
報文,而造成重複分配資源。
小結
TCP 建立連線時,通過三次握手能防止歷史連線的建立,能減少雙方不必要的資源開銷,能幫助雙方同步初始化序列號。序列號能夠保證資料包不重複、不丟棄和按序傳輸。
不使用「兩次握手」和「四次握手」的原因:
- 「兩次握手」:無法防止歷史連線的建立,會造成雙方資源的浪費,也無法可靠的同步雙方序列號;
- 「四次握手」:三次握手就已經理論上最少可靠連線建立,所以不需要使用更多的通訊次數。
為什麼客戶端和服務端的初始序列號 ISN 是不相同的?
因為網路中的報文會延遲、會複製重發、也有可能丟失,這樣會造成的不同連線之間產生互相影響,所以為了避免互相影響,客戶端和服務端的初始序列號是隨機且不同的。
初始序列號 ISN 是如何隨機產生的?
起始 ISN
是基於時鐘的,每 4 毫秒 + 1,轉一圈要 4.55 個小時。
RFC1948 中提出了一個較好的初始化序列號 ISN 隨機生成演算法。
ISN = M + F (localhost, localport, remotehost, remoteport)
M
是一個計時器,這個計時器每隔 4 毫秒加 1。F
是一個 Hash 演算法,根據源 IP、目的 IP、源埠、目的埠生成一個隨機數值。要保證 Hash 演算法不能被外部輕易推算得出,用 MD5 演算法是一個比較好的選擇。
既然 IP 層會分片,為什麼 TCP 層還需要 MSS 呢?
我們先來認識下 MTU 和 MSS
MTU 與 MSSMTU
:一個網路包的最大長度,乙太網中一般為1500
位元組;MSS
:除去 IP 和 TCP 頭部之後,一個網路包所能容納的 TCP 資料的最大長度;
如果在 TCP 的整個報文(頭部 + 資料)交給 IP 層進行分片,會有什麼異常呢?
當 IP 層有一個超過 MTU
大小的資料(TCP 頭部 + TCP 資料)要傳送,那麼 IP 層就要進行分片,把資料分片成若干片,保證每一個分片都小於 MTU。把一份 IP 資料包進行分片以後,由目標主機的 IP 層來進行重新組裝後,在交給上一層 TCP 傳輸層。
這看起來井然有序,但這存在隱患的,那麼當如果一個 IP 分片丟失,整個 IP 報文的所有分片都得重傳。
因為 IP 層本身沒有超時重傳機制,它由傳輸層的 TCP 來負責超時和重傳。
當接收方發現 TCP 報文(頭部 + 資料)的某一片丟失後,則不會響應 ACK 給對方,那麼傳送方的 TCP 在超時後,就會重發「整個 TCP 報文(頭部 + 資料)」。
因此,可以得知由 IP 層進行分片傳輸,是非常沒有效率的。
所以,為了達到最佳的傳輸效能 TCP 協議在建立連線的時候通常要協商雙方的 MSS 值,當 TCP 層發現資料超過 MSS 時,則就先會進行分片,當然由它形成的 IP 包的長度也就不會大於 MTU ,自然也就不用 IP 分片了。
握手階段協商 MSS經過 TCP 層分片後,如果一個 TCP 分片丟失後,進行重發時也是以 MSS 為單位,而不用重傳所有的分片,大大增加了重傳的效率。
什麼是 SYN 攻擊?如何避免 SVN 攻擊?
SYN 攻擊
我們都知道 TCP 連線建立是需要三次握手,假設攻擊者短時間偽造不同 IP 地址的 SYN
報文,服務端每接收到一個 SVN
報文,就進入SYN_RCVD
狀態,但服務端傳送出去的 ACK + SYN
報文,無法得到未知 IP 主機的 ACK
應答,久而久之就會佔滿服務端的 SYN 接收佇列(未連線佇列),使得伺服器不能為正常使用者服務。
避免 SVN 攻擊方式一
其中一種解決方式是通過修改 Linux 核心引數,控制佇列大小和當佇列滿時應做什麼處理。
- 當網路卡接收資料包的速度大於核心處理的速度時,會有一個佇列儲存這些資料包。控制該佇列的最大值如下引數:
net.core.netdev_max_backlog
複製程式碼
- SYN_RCVD 狀態連線的最大個數:
net.ipv4.tcp_max_syn_backlog
複製程式碼
- 超出處理能時,對新的 SYN 直接回報 RST,丟棄連線:
net.ipv4.tcp_abort_on_overflow
複製程式碼
避免 SVN 攻擊方式二
我們先來看下Linux 核心的 SYN
(未完成連線建立)佇列與 Accpet
(已完成連線建立)佇列是如何工作的?
正常流程:
- 當服務端接收到客戶端的 SYN 報文時,會將其加入到核心的「 SYN 佇列」;
- 接著傳送 SYN + ACK 給客戶端,等待客戶端回應 ACK 報文;
- 服務端接收到 ACK 報文後,從「 SVN 佇列」移除放入到「 Accept 佇列」;
- 應用通過呼叫
accpet()
socket 介面,從「 Accept 佇列」取出的連線。
應用程式過慢:
- 如果應用程式過慢時,就會導致「 Accept 佇列」被佔滿。
受到 SVN 攻擊:
- 如果不斷受到 SVN 攻擊,就會導致「 SYN 佇列」被佔滿。
tcp_syncookies
的方式可以應對 SYN 攻擊的方法:
net.ipv4.tcp_syncookies = 1
複製程式碼
tcp_syncookies 應對 SYN 攻擊
- 當 「 SYN 佇列」滿之後,後續伺服器收到 SYN 包,不進入「 SYN 佇列」;
- 計算出一個
cookie
值,再以 SYN + ACK 中的「序列號」返回客戶端, - 服務端接收到客戶端的應答報文時,伺服器會檢查這個 ACK 包的合法性。如果合法,直接放入到「 Accept 佇列」。
- 最後應用通過呼叫
accpet()
socket 介面,從「 Accept 佇列」取出的連線。
03 TCP 連線斷開
TCP 四次揮手過程和狀態變遷
天下沒有不散的宴席,對於 TCP 連線也是這樣, TCP 斷開連線是通過四次揮手方式。
雙方都可以主動斷開連線,斷開連線後主機中的「資源」將被釋放。
客戶端主動關閉連線 —— TCP 四次揮手- 客戶端打算關閉連線,此時會傳送一個 TCP 首部
FIN
標誌位被置為1
的報文,也即FIN
報文,之後客戶端進入FIN_WAIT_1
狀態。 - 服務端收到該報文後,就向客戶端傳送
ACK
應答報文,接著服務端進入CLOSED_WAIT
狀態。 - 客戶端收到服務端的
ACK
應答報文後,之後進入FIN_WAIT_2
狀態。 - 等待服務端處理完資料後,也向客戶端傳送
FIN
報文,之後服務端進入LAST_ACK
狀態。 - 客戶端收到服務端的
FIN
報文後,回一個ACK
應答報文,之後進入TIME_WAIT
狀態 - 伺服器收到了
ACK
應答報文後,就進入了CLOSE
狀態,至此服務端已經完成連線的關閉。 - 客戶端在經過
2MSL
一段時間後,自動進入CLOSE
狀態,至此客戶端也完成連線的關閉。
你可以看到,每個方向都需要一個 FIN 和一個 ACK,因此通常被稱為四次揮手。
這裡一點需要注意是:主動關閉連線的,才有 TIME_WAIT 狀態。
為什麼揮手需要四次?
再來回顧下四次揮手雙方發 FIN
包的過程,就能理解為什麼需要四次了。
- 關閉連線時,客戶端向服務端傳送
FIN
時,僅僅表示客戶端不再傳送資料了但是還能接收資料。 - 伺服器收到客戶端的
FIN
報文時,先回一個ACK
應答報文,而服務端可能還有資料需要處理和傳送,等服務端不再傳送資料時,才傳送FIN
報文給客戶端來表示同意現在關閉連線。
從上面過程可知,服務端通常需要等待完成資料的傳送和處理,所以服務端的 ACK
和 FIN
一般都會分開傳送,從而比三次握手導致多了一次。
為什麼 TIME_WAIT 等待的時間是 2MSL?
MSL
是 Maximum Segment Lifetime,報文最大生存時間,它是任何報文在網路上存在的最長時間,超過這個時間報文將被丟棄。因為 TCP 報文基於是 IP 協議的,而 IP 頭中有一個 TTL
欄位,是 IP 資料包可以經過的最大路由數,每經過一個處理他的路由器此值就減 1,當此值為 0 則資料包將被丟棄,同時傳送 ICMP 報文通知源主機。
MSL 與 TTL 的區別: MSL 的單位是時間,而 TTL 是經過路由跳數。所以 MSL 應該要大於等於 TTL 消耗為 0 的時間,以確保報文已被自然消亡。
TIME_WAIT 等待 2 倍的 MSL,比較合理的解釋是: 網路中可能存在來自傳送方的資料包,當這些傳送方的資料包被接收方處理後又會向對方傳送響應,所以一來一回需要等待 2 倍的時間。
比如如果被動關閉方沒有收到斷開連線的最後的 ACK 報文,就會觸發超時重發 Fin 報文,另一方接收到 FIN 後,會重發 ACK 給被動關閉方, 一來一去正好 2 個 MSL。
2MSL
的時間是從客戶端接收到 FIN 後傳送 ACK 開始計時的。如果在 TIME-WAIT 時間內,因為客戶端的 ACK 沒有傳輸到服務端,客戶端又接收到了服務端重發的 FIN 報文,那麼 2MSL 時間將重新計時。
在 Linux 系統裡 2MSL
預設是 60
秒,那麼一個 MSL
也就是 30
秒。Linux 系統停留在 TIME_WAIT 的時間為固定的 60 秒。
其定義在 Linux 核心程式碼裡的名稱為 TCP_TIMEWAIT_LEN:
#define TCP_TIMEWAIT_LEN (60*HZ) /* how long to wait to destroy TIME-WAIT
state, about 60 seconds */
複製程式碼
如果要修改 TIME_WAIT 的時間長度,只能修改 Linux 核心程式碼裡 TCP_TIMEWAIT_LEN 的值,並重新編譯 Linux 核心。
為什麼需要 TIME_WAIT 狀態?
主動發起關閉連線的一方,才會有 TIME-WAIT
狀態。
需要 TIME-WAIT 狀態,主要是兩個原因:
- 防止具有相同「四元組」的「舊」資料包被收到;
- 保證「被動關閉連線」的一方能被正確的關閉,即保證最後的 ACK 能讓被動關閉方接收,從而幫助其正常關閉;
原因一:防止舊連線的資料包
假設 TIME-WAIT 沒有等待時間或時間過短,被延遲的資料包抵達後會發生什麼呢?
接收到歷史資料的異常- 如上圖黃色框框服務端在關閉連線之前傳送的
SEQ = 301
報文,被網路延遲了。 - 這時有相同埠的 TCP 連線被複用後,被延遲的
SEQ = 301
抵達了客戶端,那麼客戶端是有可能正常接收這個過期的報文,這就會產生資料錯亂等嚴重的問題。
所以,TCP 就設計出了這麼一個機制,經過 2MSL
這個時間,足以讓兩個方向上的資料包都被丟棄,使得原來連線的資料包在網路中都自然消失,再出現的資料包一定都是新建立連線所產生的。
原因二:保證連線正確關閉
在 RFC 793 指出 TIME-WAIT 另一個重要的作用是:
TIME-WAIT - represents waiting for enough time to pass to be sure the remote TCP received the acknowledgment of its connection termination request.
也就是說,TIME-WAIT 作用是等待足夠的時間以確保最後的 ACK 能讓被動關閉方接收,從而幫助其正常關閉。
假設 TIME-WAIT 沒有等待時間或時間過短,斷開連線會造成什麼問題呢?
沒有確保正常斷開的異常- 如上圖紅色框框客戶端四次揮手的最後一個
ACK
報文如果在網路中被丟失了,此時如果客戶端TIME-WAIT
過短或沒有,則就直接進入了CLOSE
狀態了,那麼服務端則會一直處在LASE-ACK
狀態。 - 當客戶端發起建立連線的
SYN
請求報文後,服務端會傳送RST
報文給客戶端,連線建立的過程就會被終止。
如果 TIME-WAIT 等待足夠長的情況就會遇到兩種情況:
- 服務端正常收到四次揮手的最後一個
ACK
報文,則服務端正常關閉連線。 - 服務端沒有收到四次揮手的最後一個
ACK
報文時,則會重發FIN
關閉連線報文並等待新的ACK
報文。
所以客戶端在 TIME-WAIT
狀態等待 2MSL
時間後,就可以保證雙方的連線都可以正常的關閉。
TIME_WAIT 過多有什麼危害?
如果伺服器有處於 TIME-WAIT 狀態的 TCP,則說明是由伺服器方主動發起的斷開請求。
過多的 TIME-WAIT 狀態主要的危害有兩種:
- 第一是記憶體資源佔用;
- 第二是對埠資源的佔用,一個 TCP 連線至少消耗一個本地埠;
第二個危害是會造成嚴重的後果的,要知道,埠資源也是有限的,一般可以開啟的埠為 32768~61000
,也可以通過如下引數設定指定
net.ipv4.ip_local_port_range
複製程式碼
如果服務端 TIME_WAIT 狀態過多,佔滿了所有埠資源,則會導致無法建立新連線。
如何優化 TIME_WAIT?
這裡給出優化 TIME-WAIT 的幾個方式,都是有利有弊:
- 開啟 net.ipv4.tcp_tw_reuse 和 net.ipv4.tcp_timestamps 選項;
- net.ipv4.tcp_max_tw_buckets
- 程式中使用 SO_LINGER ,應用強制使用 RST 關閉。
方式一:net.ipv4.tcp_tw_reuse 和 tcp_timestamps
如下的 Linux 核心引數開啟後,則可以複用處於 TIME_WAIT 的 socket 為新的連線所用。
net.ipv4.tcp_tw_reuse = 1
複製程式碼
使用這個選項,還有一個前提,需要開啟對 TCP 時間戳的支援,即
net.ipv4.tcp_timestamps=1(預設即為 1)
複製程式碼
這個時間戳的欄位是在 TCP 頭部的「選項」裡,用於記錄 TCP 傳送方的當前時間戳和從對端接收到的最新時間戳。
由於引入了時間戳,我們在前面提到的 2MSL
問題就不復存在了,因為重複的資料包會因為時間戳過期被自然丟棄。
溫馨提醒:net.ipv4.tcp_tw_reuse
要慎用,因為使用了它就必然要開啟時間戳的支援 net.ipv4.tcp_timestamps
,當客戶端與服務端主機時間不同步時,客戶端的傳送的訊息會被直接拒絕掉。小林在工作中就遇到過。。。排查了非常的久
方式二:net.ipv4.tcp_max_tw_buckets
這個值預設為 18000,當系統中處於 TIME_WAIT 的連線一旦超過這個值時,系統就會將所有的 TIME_WAIT 連線狀態重置。
這個方法過於暴力,而且治標不治本,帶來的問題遠比解決的問題多,不推薦使用。
方式三:程式中使用 SO_LINGER
我們可以通過設定 socket 選項,來設定呼叫 close 關閉連線行為。
struct linger so_linger;
so_linger.l_onoff = 1;
so_linger.l_linger = 0;
setsockopt(s, SOL_SOCKET, SO_LINGER, &so_linger,sizeof(so_linger));
複製程式碼
如果l_onoff
為非 0, 且l_linger
值為 0,那麼呼叫close
後,會立該傳送一個RST
標誌給對端,該 TCP 連線將跳過四次揮手,也就跳過了TIME_WAIT
狀態,直接關閉。
但這為跨越TIME_WAIT
狀態提供了一個可能,不過是一個非常危險的行為,不值得提倡。
如果已經建立了連線,但是客戶端突然出現故障了怎麼辦?
TCP 有一個機制是保活機制。這個機制的原理是這樣的:
定義一個時間段,在這個時間段內,如果沒有任何連線相關的活動,TCP 保活機制會開始作用,每隔一個時間間隔,傳送一個探測報文,該探測報文包含的資料非常少,如果連續幾個探測報文都沒有得到響應,則認為當前的 TCP 連線已經死亡,系統核心將錯誤資訊通知給上層應用程式。
在 Linux 核心可以有對應的引數可以設定保活時間、保活探測的次數、保活探測的時間間隔,以下都為預設值:
net.ipv4.tcp_keepalive_time=7200
net.ipv4.tcp_keepalive_intvl=75
net.ipv4.tcp_keepalive_probes=9
複製程式碼
- tcp_keepalive_time=7200:表示保活時間是 7200 秒(2小時),也就 2 小時內如果沒有任何連線相關的活動,則會啟動保活機制
- tcp_keepalive_intvl=75:表示每次檢測間隔 75 秒;
- tcp_keepalive_probes=9:表示檢測 9 次無響應,認為對方是不可達的,從而中斷本次的連線。
也就是說在 Linux 系統中,最少需要經過 2 小時 11 分 15 秒才可以發現一個「死亡」連線。
這個時間是有點長的,我們也可以根據實際的需求,對以上的保活相關的引數進行設定。
如果開啟了 TCP 保活,需要考慮以下幾種情況:
第一種,對端程式是正常工作的。當 TCP 保活的探測報文傳送給對端, 對端會正常響應,這樣 TCP 保活時間會被重置,等待下一個 TCP 保活時間的到來。
第二種,對端程式崩潰並重啟。當 TCP 保活的探測報文傳送給對端後,對端是可以響應的,但由於沒有該連線的有效資訊,會產生一個 RST 報文,這樣很快就會發現 TCP 連線已經被重置。
第三種,是對端程式崩潰,或對端由於其他原因導致報文不可達。當 TCP 保活的探測報文傳送給對端後,石沉大海,沒有響應,連續幾次,達到保活探測次數後,TCP 會報告該 TCP 連線已經死亡。
03 Socket 程式設計
基於 TCP 協議的客戶端和伺服器工作針對 TCP 應該如何 Socket 程式設計?
- 服務端和客戶端初始化
socket
,得到檔案描述符; - 服務端呼叫
bind
,將繫結在 IP 地址和埠; - 服務端呼叫
listen
,進行監聽; - 服務端呼叫
accept
,等待客戶端連線; - 客戶端呼叫
connect
,向伺服器端的地址和埠發起連線請求; - 服務端
accept
返回用於傳輸的socket
的檔案描述符; - 客戶端呼叫
write
寫入資料;服務端呼叫read
讀取資料; - 客戶端斷開連線時,會呼叫
close
,那麼服務端read
讀取資料的時候,就會讀取到了EOF
,待處理完資料後,服務端呼叫close
,表示連線關閉。
這裡需要注意的是,服務端呼叫 accept
時,連線成功了會返回一個已完成連線的 socket,後續用來傳輸資料。
所以,監聽的 socket 和真正用來傳送資料的 socket,是「兩個」 socket,一個叫作監聽 socket,一個叫作已完成連線 socket。
成功連線建立之後,雙方開始通過 read 和 write 函式來讀寫資料,就像往一個檔案流裡面寫東西一樣。
listen 時候引數 backlog 的意義?
Linux核心中會維護兩個佇列:
- 未完成連線佇列(SYN 佇列):接收到一個 SYN 建立連線請求,處於 SYN_RCVD 狀態;
- 已完成連線佇列(Accpet 佇列):已完成 TCP 三次握手過程,處於 ESTABLISHED 狀態;
int listen (int socketfd, int backlog)
複製程式碼
- 引數一 socketfd 為 socketfd 檔案描述符
- 引數二 backlog,這引數在歷史有一定的變化
在 早期 Linux 核心 backlog 是 SYN 佇列大小,也就是未完成的佇列大小。
在 Linux 核心 2.2 之後,backlog 變成 accept 佇列,也就是已完成連線建立的佇列長度,所以現在通常認為 backlog 是 accept 佇列。
accept 傳送在三次握手的哪一步?
我們先看看客戶端連線服務端時,傳送了什麼?
客戶端連線服務端- 客戶端的協議棧向伺服器端傳送了 SYN 包,並告訴伺服器端當前傳送序列號 client_isn,客戶端進入 SYNC_SENT 狀態;
- 伺服器端的協議棧收到這個包之後,和客戶端進行 ACK 應答,應答的值為 client_isn+1,表示對 SYN 包 client_isn 的確認,同時伺服器也傳送一個 SYN 包,告訴客戶端當前我的傳送序列號為 server_isn,伺服器端進入 SYNC_RCVD 狀態;
- 客戶端協議棧收到 ACK 之後,使得應用程式從
connect
呼叫返回,表示客戶端到伺服器端的單向連線建立成功,客戶端的狀態為 ESTABLISHED,同時客戶端協議棧也會對伺服器端的 SYN 包進行應答,應答資料為 server_isn+1; - 應答包到達伺服器端後,伺服器端協議棧使得
accept
阻塞呼叫返回,這個時候伺服器端到客戶端的單向連線也建立成功,伺服器端也進入 ESTABLISHED 狀態。
從上面的描述過程,我們可以得知客戶端 connect 成功返回是在第二次握手,服務端 accept 成功返回是在三次握手成功之後。
客戶端呼叫 close 了,連線是斷開的流程是什麼?
我們看看客戶端主動呼叫了 close
,會發生什麼?
- 客戶端呼叫
close
,表明客戶端沒有資料需要傳送了,則此時會向服務端傳送 FIN 報文,進入 FIN_WAIT_1 狀態; - 服務端接收到了 FIN 報文,TCP 協議棧會為 FIN 包插入一個檔案結束符
EOF
到接收緩衝區中,應用程式可以通過read
呼叫來感知這個 FIN 包。這個EOF
會被放在已排隊等候的其他已接收的資料之後,這就意味著服務端需要處理這種異常情況,因為 EOF 表示在該連線上再無額外資料到達。此時,服務端進入 CLOSE_WAIT 狀態; - 接著,當處理完資料後,自然就會讀到
EOF
,於是也呼叫close
關閉它的套接字,這會使得會發出一個 FIN 包,之後處於 LAST_ACK 狀態; - 客戶端接收到服務端的 FIN 包,併傳送 ACK 確認包給服務端,此時客戶端將進入 TIME_WAIT 狀態;
- 服務端收到 ACK 確認包後,就進入了最後的 CLOSE 狀態;
- 客戶端進過
2MSL
時間之後,也進入 CLOSED 狀態;
巨人的肩膀
[1] 趣談網路協議專欄.劉超.極客時間.
[2] 網路程式設計實戰專欄.盛延敏.極客時間.
[3] 計算機網路-自頂向下方法.陳鳴 譯.機械工業出版社
[4] TCP/IP詳解 卷1:協議.範建華 譯.機械工業出版社
[5] 圖解TCP/IP.竹下隆史.人民郵電出版社
[6] https://www.rfc-editor.org/rfc/rfc793.html
[7] https://draveness.me/whys-the-design-tcp-three-way-handshake
[9] https://draveness.me/whys-the-design-tcp-time-wait/
往期好文
聽說你 ping 用的很 6 ?給我圖解一下 ping 的工作原理!
嘮叨嘮叨
小林為寫此文重學了一篇 TCP,深感 TCP 真的是一個非常複雜的協議,要想輕易拿下,也不是一天兩天的事,所以小林花費了一個星期多才寫完此文章。
正所謂知道的越多,不知道的也越多。
下篇給大家帶來 TCP 滑動視窗、流量控制、擁塞控制的圖解文章!
本文只是拋磚引玉,若你有更好的想法或文章有誤的地方,歡迎留言討論!
小林是專為大家圖解的工具人,Goodbye,我們下次見!