tomcat連線處理機制和執行緒模型

wastonl發表於2024-08-11

Tomcat執行緒模型

前提

Tomcat中Connector實現主要有3種，NIO、NIO2、APR，其中NIO是預設方式。

NIO基於ServerSocketChannel

NIO2基於AsynchronousServerSocketChannel

後面都是基於NIO模式來進行闡述。

Tomcat執行緒池

tomcat中的執行緒池實現為ThreadPoolExecutor，基本上是複製了JDK中的ThreadPoolExecutor，與JDK中的執行緒池主要區別在於阻塞佇列實現，而execute方法並沒有區別。

JDK中的執行緒池提交邏輯是，小於核心執行緒數量時，新建執行緒來執行任務，超過核心執行緒數量後，放入阻塞佇列中，阻塞佇列滿了，新建執行緒來執行任務，當執行緒數量超過最大執行緒數時，則執行拒絕策略。

tomcat中的執行緒池提交邏輯是，小於核心執行緒數量時，新建執行緒來執行任務，超過核心執行緒數量後，還是新建執行緒來執行任務，當執行緒數量超過最大執行緒數時，將任務放入阻塞佇列中，阻塞佇列滿了，則執行拒絕策略。

tomcat的目標是要儘可能的多開執行緒來處理請求，而不是優先放入阻塞佇列。

Tomcat執行緒池阻塞佇列

tomcat中的阻塞佇列為TaskQueue，它繼承了LinkedBlockingQueue，主要看offer方法實現。

public class TaskQueue extends LinkedBlockingQueue<Runnable> {
    
    private transient volatile ThreadPoolExecutor parent = null;

    @Override
    public boolean offer(Runnable o) {
        //we can't do any checks
        if (parent==null) {
            return super.offer(o);
        }
        // 執行緒池的數量已經達到最大值, 走原邏輯
        if (parent.getPoolSizeNoLock() == parent.getMaximumPoolSize()) {
            return super.offer(o);
        }
        //we have idle threads, just add it to the queue
        if (parent.getSubmittedCount() <= parent.getPoolSizeNoLock()) {
            return super.offer(o);
        }
        // 執行緒值中的數量小於最大值, 返回false, 代表佇列滿了，於是執行緒池則會新建執行緒來執行任務
        if (parent.getPoolSizeNoLock() < parent.getMaximumPoolSize()) {
            return false;
        }
        //if we reached here, we need to add it to the queue
        return super.offer(o);
    }
}

tomcat connector的幾個重要引數

maxConnections，預設值為8192，允許的最大socket連線數，當連線數達到最大值，acceptor執行緒將會阻塞，不再呼叫ServerSocketChannel.accept()方法接收新的socket連線。
acceptCount，預設值為100，作業系統掛起socket連線的最大值，等同於ServerSocketChannel.bind()方法的backlog引數。當客戶端連線到服務端時，如果服務端沒有呼叫accept獲取連線，這個連線將會處於一個佇列中，當佇列中的連線數超過backlog引數後，客戶端將會報錯connection refuse。而呼叫accept方法則會從佇列中取走一個連線。
minSpareThreads，預設值10，執行緒池的核心執行緒數量。
maxThreads，預設值200，執行緒池的最大執行緒數量。

總結：

因此tomcat預設可以處理的連線總數是maxConnections + acceptCount，超出後則會直接報錯。

tomcat處理請求時，都會使用一個執行緒來處理，如果需要處理的連線數量(已經發起請求資料了，空閒的連線不算)大於執行緒池數量時，多餘的連線請求則會被加入到阻塞佇列中。

對應的Spring Boot配置

server.tomcat.max-connections
server.tomcat.accept-count
server.tomcat.threads.min-spare
server.tomcat.threads.max

可以根據這些配置順藤摸瓜找到TomcatWebServerFactoryCustomizer配置類，可以看這個類怎麼將這些配置給設定到tomcat中。