基於Apache元件，分析物件池原理

知了一笑發表於2022-04-06
Apache元件物件

池塘裡養：Object；

一、設計與原理

1、基礎案例

首先看一個基於common-pool2物件池元件的應用案例，主要有工廠類、物件池、物件三個核心角色，以及池化物件的使用流程：

import org.apache.commons.pool2.BasePooledObjectFactory;
import org.apache.commons.pool2.PooledObject;
import org.apache.commons.pool2.impl.DefaultPooledObject;
import org.apache.commons.pool2.impl.GenericObjectPool;
import org.apache.commons.pool2.impl.GenericObjectPoolConfig;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

public class ObjPool {
    public static void main(String[] args) throws Exception {
        // 宣告物件池
        DevObjPool devObjPool = new DevObjPool() ;
        // 池中借用物件
        DevObj devObj = devObjPool.borrowObject();
        System.out.println("Idle="+devObjPool.getNumIdle()+"；Active="+devObjPool.getNumActive());
        // 使用物件
        devObj.devObjInfo();
        // 歸還給物件池
        devObjPool.returnObject(devObj);
        System.out.println("Idle="+devObjPool.getNumIdle()+"；Active="+devObjPool.getNumActive());
        // 檢視物件池
        System.out.println(devObjPool.listAllObjects());
    }
}
/**
 * 物件定義
 */
class DevObj {
    private static final Logger logger = LoggerFactory.getLogger(DevObj.class) ;
    public DevObj (){
        logger.info("build...dev...obj");
    }
    public void devObjInfo (){
        logger.info("dev...obj...info");
    }
}
/**
 * 物件工廠
 */
class DevObjFactory extends BasePooledObjectFactory<DevObj> {
    @Override
    public DevObj create() throws Exception {
        // 建立物件
        return new DevObj() ;
    }
    @Override
    public PooledObject<DevObj> wrap(DevObj devObj) {
        // 池化物件
        return new DefaultPooledObject<>(devObj);
    }
}
/**
 * 物件池
 */
class DevObjPool extends GenericObjectPool<DevObj> {
    public DevObjPool() {
        super(new DevObjFactory(), new GenericObjectPoolConfig<>());
    }
}

案例中物件是完全自定義的；物件工廠中則重寫兩個核心方法：建立和包裝，以此建立池化物件；物件池的構建依賴定義的物件工廠，配置採用元件提供的常規配置類；可以通過調整物件例項化的時間以及建立物件的個數，初步理解物件池的原理。

2、介面設計

1.1 PooledObjectFactory 介面

  • 工廠類，負責物件例項化，建立、驗證、銷燬、狀態管理等；
  • 案例中BasePooledObjectFactory類則是該介面的基礎實現；

1.2 ObjectPool 介面

  • 物件池，並且繼承Closeable介面，管理物件生命週期，以及活躍和空閒物件的資料資訊獲取；
  • 案例中GenericObjectPool類是對於該介面的實現，並且是可配置化的方式；

1.3 PooledObject 介面

  • 池化物件，基於包裝類被維護在物件池中，並且維護一些附加資訊用來跟蹤，例如時間、狀態；
  • 案例中採用DefaultPooledObject包裝類，實現該介面並且執行緒安全，注意工廠類中的重寫；

3、執行原理

通過物件池獲取物件，可能是通過工廠新建立的，也可能是空閒的物件；當物件獲取成功且使用完成後，需要歸還物件；在案例執行過程中，不斷查詢物件池中空閒和活躍物件的數量，用來監控池的變化。

二、構造分析

1、物件池

public GenericObjectPool(final PooledObjectFactory<T> factory,final GenericObjectPoolConfig<T> config);

在完整的構造方法中，涉及到三個核心物件：工廠物件、配置物件、雙端阻塞佇列；通過這幾個物件建立一個新的物件池；在config中提供了一些簡單的預設配置：例如maxTotal、maxIdle、minIdle等，也可以擴充套件自定義配置；

2、雙端佇列

private final LinkedBlockingDeque<PooledObject<T>> idleObjects;
public GenericObjectPool(final PooledObjectFactory<T> factory,final GenericObjectPoolConfig<T> config) {
    idleObjects = new LinkedBlockingDeque<>(config.getFairness());
}

LinkedBlockingDeque支援在佇列的首尾操作元素，例如新增和移除等；操作需要通過主鎖進行加鎖，並且基於兩個狀態鎖進行協作；

// 隊首節點
private transient LinkedBlockingDeque.Node<E> first;
// 隊尾節點
private transient LinkedBlockingDeque.Node<E> last;
// 主鎖
private final InterruptibleReentrantLock lock;
// 非空狀態鎖
private final Condition notEmpty;
// 未滿狀態鎖
private final Condition notFull;

關於連結串列和佇列的特點，在之前的文章中有單獨分析過，此處的原始碼在JDK的容器中也很常見，這裡不在贅述，物件池的整個構造有大致輪廓之後，下面再來細看物件的管理邏輯。

三、物件管理

1、新增物件

建立一個新物件並且放入池中，通常應用在需要預載入的場景中；涉及到兩個核心操作：工廠建立物件，物件池化管理；

public void GenericObjectPool.addObject() throws Exception ;

2、借用物件

public T GenericObjectPool.borrowObject(final long borrowMaxWaitMillis) throws Exception ;

首先從佇列中獲取物件；如果沒有獲取到，呼叫工廠建立方法，之後池化管理；物件獲取之後會改變狀態為ALLOCATED使用中；最後經過工廠的確認，完成物件獲取動作；

3、歸還物件

public void GenericObjectPool.returnObject(final T obj) ；

歸還物件的時候，首先轉換為池化物件和標記RETURNING狀態；經過多次校驗判斷，如果失敗則銷燬該物件，並重新維護物件池中可用的空閒物件；最終物件被標記為空閒狀態，如果不超出最大空閒數，則物件被放到佇列的某一端；

4、物件狀態

關於池化物件的狀態在PooledObjectState類中有列舉和描述，在圖中只是對部分幾個狀態流轉做示意，更多細節可以參考狀態類；

可以參考在上述案例中使用到的DefaultPooledObject預設池化物件類中相關方法，結合狀態列舉，可以理解不同狀態之間的校驗和轉換。

四、Redis應用

Lettuce作為Redis高階的客戶端元件，通訊層使用Netty元件，並且是執行緒安全，支援同步和非同步模式，支援叢集和哨兵模式；作為當下專案中常用的配置，其底層物件池基於common-pool2元件。

1、配置管理

基於如下配置即表示採用Lettuce元件，其中涉及到池的幾個引數配置：最小空閒、最大活躍、最大空閒；這裡可以對比GenericObjectPoolConfig中的配置：

spring:
  redis:
    host: ${REDIS_HOST:127.0.0.1}
    lettuce:
      pool:
        min-idle: 10
        max-active: 100
        max-idle: 100

2、原始碼分析

圍繞物件池的特點，自然去追尋原始碼中關於：配置、工廠、物件幾個核心的角色類；從上述配置引數切入，可以很容易發現如下幾個類：

2.1 配置轉換

// 連線配置
class LettuceConnectionConfiguration extends RedisConnectionConfiguration {
    private static class PoolBuilderFactory {
        // 構建物件池配置
        private GenericObjectPoolConfig<?> getPoolConfig(RedisProperties.Pool properties) {
            GenericObjectPoolConfig<?> config = new GenericObjectPoolConfig<>();
            config.setMaxTotal(properties.getMaxActive());
            config.setMaxIdle(properties.getMaxIdle());
            config.setMinIdle(properties.getMinIdle());
            return config;
        }
    }
}

這裡將配置檔案中Redis的相關引數，構建到GenericObjectPoolConfig類中，即配置載入過程；

2.2 物件池構造

class LettucePoolingConnectionProvider implements LettuceConnectionProvider {
    // 物件池核心角色
    private final GenericObjectPoolConfig poolConfig;
    private final BoundedPoolConfig asyncPoolConfig;
    private final Map<Class<?>, GenericObjectPool> pools = new ConcurrentHashMap(32);
    LettucePoolingConnectionProvider(LettuceConnectionProvider provider, LettucePoolingClientConfiguration config) {
        this.poolConfig = clientConfiguration.getPoolConfig();
        this.asyncPoolConfig = CommonsPool2ConfigConverter.bounded(this.config);
    }
}

在構造方法中獲取物件池的配置資訊，這裡並沒有直接例項化池物件，而是採用ConcurrentHashMap容器來動態維護；

2.3 物件管理

class LettucePoolingConnectionProvider implements LettuceConnectionProvider {
    // 獲取Redis連線
    public <T extends StatefulConnection<?, ?>> T getConnection(Class<T> connectionType) {
        GenericObjectPool pool = (GenericObjectPool)this.pools.computeIfAbsent();
        StatefulConnection<?, ?> connection = (StatefulConnection)pool.borrowObject();
    }
    // 釋放Redis連線
    public void release(StatefulConnection<?, ?> connection) {
        GenericObjectPool<StatefulConnection<?, ?>> pool = (GenericObjectPool)this.poolRef.remove(connection);
    }
}

在獲取池物件時，如果不存在則根據相關配置建立池物件，並維護到Map容器中，然後從池中借用Redis連線物件；釋放物件時首先判斷物件所屬的池，將物件歸還到相應的池中。

最後總結，本文從物件池的一個簡單案例切入，主要分析common-pool2元件關於：池、工廠、配置、物件管理幾個角色的原始碼邏輯，並且參考其在Redis中的實踐，只是冰山一角，像這種通用型並且應用範圍廣的元件，很值得時常去讀一讀原始碼，真的令人驚歎其鬼斧天工的設計。

五、參考原始碼

應用倉庫：
https://gitee.com/cicadasmile/butte-flyer-parent

元件封裝：
https://gitee.com/cicadasmile/butte-frame-parent

相關文章