Netty執行緒模型

轉載：http://www.jianshu.com/p/38b56531565d

一、NIO Reactor執行緒模型

1、Reactor模式思想：分而治之+事件驅動

1) 分而治之

一個連線裡完整的網路處理過程一般分為accept、read、decode、process、encode、send這幾步。

Reactor模式將每個步驟對映為一個Task，服務端執行緒執行的最小邏輯單元不再是一次完整的網路請求，而是Task，且採用非阻塞方式執行。

2) 事件驅動

每個Task對應特定網路事件。當Task準備就緒時，Reactor收到對應的網路事件通知，並將Task分發給繫結了對應網路事件的Handler執行。

3) 幾個角色

Reactor：負責響應事件，將事件分發給繫結了該事件的Handler處理；

Handler：事件處理器，繫結了某類事件，負責執行對應事件的Task對事件進行處理；

Acceptor：Handler的一種，繫結了connect事件。當客戶端發起connect請求時，Reactor會將accept事件分發給Acceptor處理。

2、單執行緒Reactor

1）優點：

不需要做併發控制，程式碼實現簡單清晰。

2）缺點：

a)不能利用多核CPU；

b)一個執行緒需要執行處理所有的accept、read、decode、process、encode、send事件，處理成百上千的鏈路時效能上無法支撐；

c)一旦reactor執行緒意外跑飛或者進入死迴圈，會導致整個系統通訊模組不可用。

3、多執行緒Reactor

特點：

a)有專門一個reactor執行緒用於監聽服務端ServerSocketChannel，接收客戶端的TCP連線請求；

b)網路IO的讀/寫操作等由一個worker reactor執行緒池負責，由執行緒池中的NIO執行緒負責監聽SocketChannel事件，進行訊息的讀取、解碼、編碼和傳送。

c)一個NIO執行緒可以同時處理N條鏈路，但是一個鏈路只註冊在一個NIO執行緒上處理，防止發生併發操作問題。

4、主從多執行緒

在絕大多數場景下，Reactor多執行緒模型都可以滿足效能需求；但是在極個別特殊場景中，一個NIO執行緒負責監聽和處理所有的客戶端連線可能會存在效能問題。

特點：

a)服務端用於接收客戶端連線的不再是個1個單獨的reactor執行緒，而是一個boss reactor執行緒池；

b)服務端啟用多個ServerSocketChannel監聽不同埠時，每個ServerSocketChannel的監聽工作可以由執行緒池中的一個NIO執行緒完成。

二、Netty執行緒模型

netty執行緒模型採用“服務端監聽執行緒”和“IO執行緒”分離的方式，與多執行緒Reactor模型類似。

抽象出NioEventLoop來表示一個不斷迴圈執行處理任務的執行緒，每個NioEventLoop有一個selector，用於監聽繫結在其上的socket鏈路。

1、序列化設計避免執行緒競爭

netty採用序列化設計理念，從訊息的讀取->解碼->處理->編碼->傳送，始終由IO執行緒NioEventLoop負責。整個流程不會進行執行緒上下文切換，資料無併發修改風險。

一個NioEventLoop聚合一個多路複用器selector，因此可以處理多個客戶端連線。

netty只負責提供和管理“IO執行緒”，其他的業務執行緒模型由使用者自己整合。

時間可控的簡單業務建議直接在“IO執行緒”上處理，複雜和時間不可控的業務建議投遞到後端業務執行緒池中處理。

2、定時任務與時間輪

NioEventLoop中的Thread執行緒按照時間輪中的步驟不斷迴圈執行：

a)在時間片Tirck內執行selector.select()輪詢監聽IO事件；

b)處理監聽到的就緒IO事件；

c)執行任務佇列taskQueue/delayTaskQueue中的非IO任務。

三、NioEventLoop與NioChannel類關係

一個NioEventLoopGroup下包含多個NioEventLoop

每個NioEventLoop中包含有一個Selector，一個taskQueue，一個delayedTaskQueue

每個NioEventLoop的Selector上可以註冊監聽多個AbstractNioChannel.ch

每個AbstractNioChannel只會繫結在唯一的NioEventLoop上

每個AbstractNioChannel都繫結有一個自己的DefaultChannelPipeline

四、NioEventLoop執行緒執行過程

1、輪詢監聽的IO事件

1）netty的輪詢序號產生器制

netty將AbstractNioChannel內部的jdk類SelectableChannel物件註冊到NioEventLoopGroup中的jdk類Selector物件上去，並且將AbstractNioChannel作為SelectableChannel物件的一個attachment附屬上。

這樣在Selector輪詢到某個SelectableChannel有IO事件發生時，就可以直接取出IO事件對應的AbstractNioChannel進行後續操作。

2）迴圈執行阻塞selector.select(timeoutMIllis)操作直到以下條件產生

a)輪詢到了IO事件（selectedKey != 0）

b)oldWakenUp引數為true

c)任務佇列裡面有待處理任務（hasTasks()）

d)第一個定時任務即將要被執行（hasScheduledTasks()）

e)使用者主動喚醒（wakenUp.get()==true）

3）解決JDK的NIO epoll bug

該bug會導致Selector一直空輪詢，最終導致cpu 100%。

在每次selector.select(timeoutMillis)後，如果沒有監聽到就緒IO事件，會記錄此次select的耗時。如果耗時不足timeoutMillis，說明select操作沒有阻塞那麼長時間，可能觸發了空輪詢，進行一次計數。

計數累積超過閾值（預設512）後，開始進行Selector重建：

a)拿到有效的selectionKey集合

b)取消該selectionKey在舊的selector上的事件註冊

c)將該selectionKey對應的Channel註冊到新的selector上，生成新的selectionKey

d)重新繫結Channel和新的selectionKey的關係

4）netty優化了sun.nio.ch.SelectorImpl類中的selectedKeys和publicSelectedKeys這兩個field的實現

netty通過反射將這兩個filed替換掉，替換後的field採用陣列實現。

這樣每次在輪詢到nio事件的時候，netty只需要O(1)的時間複雜度就能將SelectionKey塞到set中去，而jdk原有field底層使用的hashSet需要O(lgn)的時間複雜度。

2、處理IO事件

1）對於boss NioEventLoop來說，輪詢到的是基本上是連線事件（OP_ACCEPT）：

a)socketChannel = ch.accept()；

b)將socketChannel繫結到worker NioEventLoop上；

c)socketChannel在worker NioEventLoop上建立register0任務；

d)pipeline.fireChannelReadComplete();

2）對於worker NioEventLoop來說，輪詢到的基本上是IO讀寫事件（以OP_READ為例）：

a)ByteBuffer.allocateDirect(capacity)；

b)socketChannel.read(dst);

c)pipeline.fireChannelRead();

d)pipeline.fireChannelReadComplete();

3、處理任務佇列

1）處理使用者產生的普通任務

NioEventLoop中的Queue taskQueue被用來承載使用者產生的普通Task。

taskQueue被實現為netty的mpscQueue，即多生產者單消費者佇列。netty使用該佇列將外部使用者執行緒產生的Task聚集，並在reactor執行緒內部用單執行緒的方式序列執行佇列中的Task。

當使用者在非IO執行緒呼叫Channel的各種方法執行Channel相關的操作時，比如channel.write()、channel.flush()等，netty會將相關操作封裝成一個Task並放入taskQueue中，保證相關操作在IO執行緒中序列執行。

2）處理使用者產生的定時任務

NioEventLoop中的Queue> delayedTaskQueue = new PriorityQueue被用來承載使用者產生的定時Task。

當使用者在非IO執行緒需要產生定時操作時，netty將使用者的定時操作封裝成ScheduledFutureTask，即一個netty內部的定時Task，並將定時Task放入delayedTaskQueue中等待對應Channel的IO執行緒序列執行。

為了解決多執行緒併發寫入delayedTaskQueue的問題，netty將新增ScheduledFutureTask到delayedTaskQueue中的操作封裝成普通Task，放入taskQueue中，通過NioEventLoop的IO執行緒對delayedTaskQueue進行單執行緒寫操作。

3）處理任務佇列的邏輯

a)將已到期的定時Task從delayedTaskQueue中轉移到taskQueue中

b)計算本次迴圈執行的截止時間

c)迴圈執行taskQueue中的任務，每隔64個任務檢查一下是否已過截止時間，直到taskQueue中任務全部執行完或者超過執行截止時間。

五、Netty中Reactor執行緒和worker執行緒所處理的事件

1、Server端NioEventLoop處理的事件

2、Client端NioEventLoop處理的事件