Socket高效能IO模型淺析

伺服器端程式設計經常需要構造高效能的IO模型，常見的IO模型有四種：

（1）同步阻塞IO（Blocking IO）：即傳統的IO模型。

（2）同步非阻塞IO（Non-blocking IO）：預設建立的socket都是阻塞的，非阻塞IO要求socket被設定為NONBLOCK。注意這裡所說的NIO並非Java的NIO（New IO）庫。

（3）IO多路複用（IO Multiplexing）：即經典的Reactor設計模式，有時也稱為非同步阻塞IO，Java中的Selector和Linux中的epoll都是這種模型。

（4）非同步IO（Asynchronous IO）：即經典的Proactor設計模式，也稱為非同步非阻塞IO。

同步和非同步的概念描述的是使用者執行緒與核心的互動方式：同步是指使用者執行緒發起IO請求後需要等待或者輪詢核心IO操作完成後才能繼續執行；而非同步是指使用者執行緒發起IO請求後仍繼續執行，當核心IO操作完成後會通知使用者執行緒，或者呼叫使用者執行緒註冊的回撥函式。

阻塞和非阻塞的概念描述的是使用者執行緒呼叫核心IO操作的方式：阻塞是指IO操作需要徹底完成後才返回到使用者空間；而非阻塞是指IO操作被呼叫後立即返回給使用者一個狀態值，無需等到IO操作徹底完成。

另外，Richard Stevens 在《Unix 網路程式設計》卷1中提到的基於訊號驅動的IO（Signal Driven IO）模型，由於該模型並不常用，本文不作涉及。接下來，我們詳細分析四種常見的IO模型的實現原理。為了方便描述，我們統一使用IO的讀操作作為示例。

一、同步阻塞IO

同步阻塞IO模型是最簡單的IO模型，使用者執行緒在核心進行IO操作時被阻塞。

圖1 同步阻塞IO

如圖1所示，使用者執行緒通過系統呼叫read發起IO讀操作，由使用者空間轉到核心空間。核心等到資料包到達後，然後將接收的資料拷貝到使用者空間，完成read操作。

使用者執行緒使用同步阻塞IO模型的虛擬碼描述為：

{
read(socket, buffer);
process(buffer);
}

即使用者需要等待read將socket中的資料讀取到buffer後，才繼續處理接收的資料。整個IO請求的過程中，使用者執行緒是被阻塞的，這導致使用者在發起IO請求時，不能做任何事情，對CPU的資源利用率不夠。

二、同步非阻塞IO

同步非阻塞IO是在同步阻塞IO的基礎上，將socket設定為NONBLOCK。這樣做使用者執行緒可以在發起IO請求後可以立即返回。

圖2 同步非阻塞IO

如圖2所示，由於socket是非阻塞的方式，因此使用者執行緒發起IO請求時立即返回。但並未讀取到任何資料，使用者執行緒需要不斷地發起IO請求，直到資料到達後，才真正讀取到資料，繼續執行。

使用者執行緒使用同步非阻塞IO模型的虛擬碼描述為：

{
while(read(socket, buffer) != SUCCESS)
;
process(buffer);
}

即使用者需要不斷地呼叫read，嘗試讀取socket中的資料，直到讀取成功後，才繼續處理接收的資料。整個IO請求的過程中，雖然使用者執行緒每次發起IO請求後可以立即返回，但是為了等到資料，仍需要不斷地輪詢、重複請求，消耗了大量的CPU的資源。一般很少直接使用這種模型，而是在其他IO模型中使用非阻塞IO這一特性。

三、IO多路複用

IO多路複用模型是建立在核心提供的多路分離函式select基礎之上的，使用select函式可以避免同步非阻塞IO模型中輪詢等待的問題。

圖3 多路分離函式select

如圖3所示，使用者首先將需要進行IO操作的socket新增到select中，然後阻塞等待select系統呼叫返回。當資料到達時，socket被啟用，select函式返回。使用者執行緒正式發起read請求，讀取資料並繼續執行。

從流程上來看，使用select函式進行IO請求和同步阻塞模型沒有太大的區別，甚至還多了新增監視socket，以及呼叫select函式的額外操作，效率更差。但是，使用select以後最大的優勢是使用者可以在一個執行緒內同時處理多個socket的IO請求。使用者可以註冊多個socket，然後不斷地呼叫select讀取被啟用的socket，即可達到在同一個執行緒內同時處理多個IO請求的目的。而在同步阻塞模型中，必須通過多執行緒的方式才能達到這個目的。

使用者執行緒使用select函式的虛擬碼描述為：

{
select(socket);
while(1) {
sockets = select();
for(socket in sockets) {
if(can_read(socket)) {
read(socket, buffer);
process(buffer);
}
}
}
}

其中while迴圈前將socket新增到select監視中，然後在while內一直呼叫select獲取被啟用的socket，一旦socket可讀，便呼叫read函式將socket中的資料讀取出來。

然而，使用select函式的優點並不僅限於此。雖然上述方式允許單執行緒內處理多個IO請求，但是每個IO請求的過程還是阻塞的（在select函式上阻塞），平均時間甚至比同步阻塞IO模型還要長。如果使用者執行緒只註冊自己感興趣的socket或者IO請求，然後去做自己的事情，等到資料到來時再進行處理，則可以提高CPU的利用率。

IO多路複用模型使用了Reactor設計模式實現了這一機制。

圖4 Reactor設計模式

如圖4所示，EventHandler抽象類表示IO事件處理器，它擁有IO檔案控制程式碼Handle（通過get_handle獲取），以及對Handle的操作handle_event（讀/寫等）。繼承於EventHandler的子類可以對事件處理器的行為進行定製。Reactor類用於管理EventHandler（註冊、刪除等），並使用handle_events實現事件迴圈，不斷呼叫同步事件多路分離器（一般是核心）的多路分離函式select，只要某個檔案控制程式碼被啟用（可讀/寫等），select就返回（阻塞），handle_events就會呼叫與檔案控制程式碼關聯的事件處理器的handle_event進行相關操作。

圖5 IO多路複用

如圖5所示，通過Reactor的方式，可以將使用者執行緒輪詢IO操作狀態的工作統一交給handle_events事件迴圈進行處理。使用者執行緒註冊事件處理器之後可以繼續執行做其他的工作（非同步），而Reactor執行緒負責呼叫核心的select函式檢查socket狀態。當有socket被啟用時，則通知相應的使用者執行緒（或執行使用者執行緒的回撥函式），執行handle_event進行資料讀取、處理的工作。由於select函式是阻塞的，因此多路IO複用模型也被稱為非同步阻塞IO模型。注意，這裡的所說的阻塞是指select函式執行時執行緒被阻塞，而不是指socket。一般在使用IO多路複用模型時，socket都是設定為NONBLOCK的，不過這並不會產生影響，因為使用者發起IO請求時，資料已經到達了，使用者執行緒一定不會被阻塞。

使用者執行緒使用IO多路複用模型的虛擬碼描述為：

void UserEventHandler::handle_event() {
if(can_read(socket)) {
read(socket, buffer);
process(buffer);
}
}

{
Reactor.register(new UserEventHandler(socket));
}

使用者需要重寫EventHandler的handle_event函式進行讀取資料、處理資料的工作，使用者執行緒只需要將自己的EventHandler註冊到Reactor即可。Reactor中handle_events事件迴圈的虛擬碼大致如下。

Reactor::handle_events() {
while(1) {
sockets = select();
for(socket in sockets) {
get_event_handler(socket).handle_event();
}
}
}

事件迴圈不斷地呼叫select獲取被啟用的socket，然後根據獲取socket對應的EventHandler，執行器handle_event函式即可。

IO多路複用是最常使用的IO模型，但是其非同步程度還不夠“徹底”，因為它使用了會阻塞執行緒的select系統呼叫。因此IO多路複用只能稱為非同步阻塞IO，而非真正的非同步IO。

四、非同步IO

“真正”的非同步IO需要作業系統更強的支援。在IO多路複用模型中，事件迴圈將檔案控制程式碼的狀態事件通知給使用者執行緒，由使用者執行緒自行讀取資料、處理資料。而在非同步IO模型中，當使用者執行緒收到通知時，資料已經被核心讀取完畢，並放在了使用者執行緒指定的緩衝區內，核心在IO完成後通知使用者執行緒直接使用即可。

非同步IO模型使用了Proactor設計模式實現了這一機制。

圖6 Proactor設計模式

如圖6，Proactor模式和Reactor模式在結構上比較相似，不過在使用者（Client）使用方式上差別較大。Reactor模式中，使用者執行緒通過向Reactor物件註冊感興趣的事件監聽，然後事件觸發時呼叫事件處理函式。而Proactor模式中，使用者執行緒將AsynchronousOperation（讀/寫等）、Proactor以及操作完成時的CompletionHandler註冊到AsynchronousOperationProcessor。AsynchronousOperationProcessor使用Facade模式提供了一組非同步操作API（讀/寫等）供使用者使用，當使用者執行緒呼叫非同步API後，便繼續執行自己的任務。AsynchronousOperationProcessor 會開啟獨立的核心執行緒執行非同步操作，實現真正的非同步。當非同步IO操作完成時，AsynchronousOperationProcessor將使用者執行緒與AsynchronousOperation一起註冊的Proactor和CompletionHandler取出，然後將CompletionHandler與IO操作的結果資料一起轉發給Proactor，Proactor負責回撥每一個非同步操作的事件完成處理函式handle_event。雖然Proactor模式中每個非同步操作都可以繫結一個Proactor物件，但是一般在作業系統中，Proactor被實現為Singleton模式，以便於集中化分發操作完成事件。

圖7 非同步IO

如圖7所示，非同步IO模型中，使用者執行緒直接使用核心提供的非同步IO API發起read請求，且發起後立即返回，繼續執行使用者執行緒程式碼。不過此時使用者執行緒已經將呼叫的AsynchronousOperation和CompletionHandler註冊到核心，然後作業系統開啟獨立的核心執行緒去處理IO操作。當read請求的資料到達時，由核心負責讀取socket中的資料，並寫入使用者指定的緩衝區中。最後核心將read的資料和使用者執行緒註冊的CompletionHandler分發給內部Proactor，Proactor將IO完成的資訊通知給使用者執行緒（一般通過呼叫使用者執行緒註冊的完成事件處理函式），完成非同步IO。

使用者執行緒使用非同步IO模型的虛擬碼描述為：

void UserCompletionHandler::handle_event(buffer) {
process(buffer);
}

{
aoi_read(socket, new UserCompletionHandler);
}

使用者需要重寫CompletionHandler的handle_event函式進行處理資料的工作，引數buffer表示Proactor已經準備好的資料，使用者執行緒直接呼叫核心提供的非同步IO API，並將重寫的CompletionHandler註冊即可。

相比於IO多路複用模型，非同步IO並不十分常用，不少高效能併發服務程式使用IO多路複用模型+多執行緒任務處理的架構基本可以滿足需求。況且目前作業系統對非同步IO的支援並非特別完善，更多的是採用IO多路複用模型模擬非同步IO的方式（IO事件觸發時不直接通知使用者執行緒，而是將資料讀寫完畢後放到使用者指定的緩衝區中）。Java7之後已經支援了非同步IO，感興趣的讀者可以嘗試使用。

本文從基本概念、工作流程和程式碼示例三個層次簡要描述了常見的四種高效能IO模型的結構和原理，理清了同步、非同步、阻塞、非阻塞這些容易混淆的概念。通過對高效能IO模型的理解，可以在服務端程式的開發中選擇更符合實際業務特點的IO模型，提高服務質量。希望本文對你有所幫助。