Springboot中使用執行緒池的三種方式

天下沒有收費的bug發表於2023-09-19
Spring Boot執行緒

前言

  • 多執行緒是每個程式設計師的噩夢,用得好可以提升效率很爽，用得不好就是埋汰的火葬場。
  • 這裡不深入介紹，主要是講解一些標準用法，熟讀唐詩三百首，不會作詩也會吟。
  • 這裡就介紹一下springboot中的多執行緒的使用，使用執行緒連線池去非同步執行業務方法。
  • 由於程式碼中包含詳細註釋,也為了保持文章的整潔性，我就不過多的做文字描述了。

VisiableThreadPoolTaskExecutor 編寫

  • new VisiableThreadPoolTaskExecutor() 方式建立執行緒池, 返回值是 Executor
點選檢視程式碼 

import lombok.extern.slf4j.Slf4j;
import org.springframework.scheduling.concurrent.ThreadPoolTaskExecutor;
import org.springframework.util.concurrent.ListenableFuture;

import java.util.concurrent.Callable;
import java.util.concurrent.Future;
import java.util.concurrent.ThreadPoolExecutor;

/**
 * @author love ice
 * @create 2023-09-19 0:17
 */
@Slf4j
public class VisiableThreadPoolTaskExecutor extends ThreadPoolTaskExecutor {
    @Override
    public void execute(Runnable task){
        showThreadPoolInfo("execute一個引數的方法執行");
    }

    @Override
    public void execute(Runnable task, long startTimeout){
        showThreadPoolInfo("execute兩個引數的方法執行");
    }

    @Override
    public Future<?> submit(Runnable task){
        showThreadPoolInfo("submit Runnable task 入參方法執行");
        return super.submit(task);
    }

    @Override
    public <T> Future<T> submit(Callable<T> task){
        showThreadPoolInfo("submit Callable<T> task 入參方法執行");
        return super.submit(task);
    }

    @Override
    public ListenableFuture<?> submitListenable(Runnable task){
        showThreadPoolInfo("submitListenable(Runnable task) 方法執行");
        return super.submitListenable(task);
    }

    @Override
    public <T>ListenableFuture<T> submitListenable(Callable<T> task){
        showThreadPoolInfo("submitListenable(Callable<T> task) 方法執行");
        return super.submitListenable(task);
    }

    private void showThreadPoolInfo(String prefix){
        ThreadPoolExecutor threadPoolExecutor = getThreadPoolExecutor();
        log.info("{}, {}, taskCount[{}], completedTaskCount[{}], activeCount[{}], queueSize[{}]",
                this.getThreadNamePrefix(), prefix, threadPoolExecutor.getTaskCount(),
                threadPoolExecutor.getCompletedTaskCount(), threadPoolExecutor.getActiveCount(),
                threadPoolExecutor.getQueue().size());
    }
}

ThreadExceptionLogHandler 編寫

  • 主要用於執行緒池出現異常時的捕獲
點選檢視程式碼 
import lombok.extern.slf4j.Slf4j;
import org.springframework.stereotype.Component;

/**
 * @author love ice
 * @create 2023-09-19 0:13
 */
@Slf4j
@Component
public class ThreadExceptionLogHandler implements Thread.UncaughtExceptionHandler {

    @Override
    public void uncaughtException(Thread t, Throwable e) {
        log.error("[{}]執行緒池異常,異常資訊為:{}",t.getName(),e.getMessage(),e);
    }
}

ExecutorConfig 編寫

  • 核心配置類
點選檢視程式碼 

import com.test.redis.Infrastructure.handler.ThreadExceptionLogHandler;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.scheduling.annotation.EnableAsync;
import java.util.concurrent.*;
import java.util.concurrent.atomic.AtomicInteger;

/**
 * 執行緒池配置
 *
 * @author love ice
 * @create 2023-09-19 0:09
 */
@Configuration
@EnableAsync
public class ExecutorConfig {
    @Value("${thread.pool.coreSize:50}")
    private int coreSize;
    @Value("${thread.pool.maxSize:50}")
    private int maxSize;
    @Value("${thread.pool.queueSize:9999}")
    private int queueSize;
    @Value("${thread.pool.threadNamePrefix:thread-name}")
    private String threadNamePrefix;
    @Value("${thread.pool.keepAlive:60}")
    private int keepAlive;
    @Autowired
    private ThreadExceptionLogHandler threadExceptionLogHandler;

    /**
     * 方式一: new VisiableThreadPoolTaskExecutor() 方式建立執行緒池,返回值是 Executor
     * 適用於 @Async("asyncServiceExecutor") 註解
     * 也可以
     *  @Autowired
     *  private Executor asyncServiceExecutor;
     *
     * @return Executor
     */
    @Bean
    public Executor asyncServiceExecutor() {
        VisiableThreadPoolTaskExecutor executor = new VisiableThreadPoolTaskExecutor();
        // 配置核心執行緒數 50
        executor.setCorePoolSize(coreSize);
        // 配置最大執行緒數 50
        executor.setMaxPoolSize(maxSize);
        // 配置佇列大小 9999
        executor.setQueueCapacity(queueSize);
        // 配置執行緒池中的執行緒名稱字首 模組-功能-作用
        executor.setThreadNamePrefix(threadNamePrefix);
        // rejection-policy：當pool已經達到max size的時候，如何處理新任務
        // CALLER_RUNS：不在新執行緒中執行任務，而是有呼叫者所在的執行緒來執行
        // 執行緒池無法接受新的任務並且佇列已滿時，如果有新的任務提交給執行緒池，而執行緒池已經達到了最大容量限制，那麼這個任務不會被丟棄，而是由呼叫該任務的執行緒來執行。
        // 這樣可以避免任務被直接丟棄，並讓呼叫者自己執行任務以減輕任務提交頻率。
        // 這個拒絕策略可能會導致任務提交者的執行緒執行任務，這可能會對呼叫者的效能產生一些影響，因為呼叫者執行緒需要等待任務執行完成才能繼續進行其他操作。
        executor.setRejectedExecutionHandler(new ThreadPoolExecutor.CallerRunsPolicy());
        // 執行緒空閒後的最大存活時間 60
        executor.setKeepAliveSeconds(keepAlive);
        // 執行初始化
        executor.initialize();
        return executor;
    }

    /**
     * 方式二: new ThreadPoolExecutor() 方式建立執行緒池
     * 適用於:
     * @Autowired
     * private ExecutorService fbWorkerPool;
     * @return ExecutorService
     */
    @Bean
    public ExecutorService workerPool() {
        return new ThreadPoolExecutor(coreSize, maxSize, keepAlive, TimeUnit.MILLISECONDS,
                new LinkedBlockingDeque<>(20000),
                new ThreadFactory() {
                    private final AtomicInteger threadNumber = new AtomicInteger(1);
                    @Override
                    public Thread newThread(Runnable runnable) {
                        Thread thread = new Thread(runnable, threadNamePrefix + threadNumber.getAndIncrement());
                        thread.setUncaughtExceptionHandler(threadExceptionLogHandler);
                        return thread;
                    }
                });
    }
}

ExecutorController 編寫

  • 演示demo，三種不同的用法, 足以涵蓋大部分場景
點選檢視程式碼 

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.scheduling.annotation.Async;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;
import java.util.ArrayList;
import java.util.Arrays;
import java.util.List;
import java.util.concurrent.CompletableFuture;
import java.util.concurrent.ExecutorService;
import java.util.stream.Collectors;

/**
 * 這裡是demo演示、把業務寫在 controller 了,一般開發都是在 service 層實現的。
 *
 * @author love ice
 * @create 2023-09-19 0:59
 */
@RestController
@RequestMapping("/executor")
public class ExecutorController {


    /**
     * demo1: 使用非同步註解 @Async("asyncServiceExecutor") 執行方法,適用於沒有返回值的情況下
     */
    public void asyncDemo1() {
        // 假設這是從資料庫查詢出來的資料
        List<String> nameList = new ArrayList<>(Arrays.asList("張三", "李四", "王五"));
        // 把 nameList 進行切分
        int j = 0, size = nameList.size(), batchSize = 10;
        List<List<String>> list = new ArrayList<>();
        while (j < size) {
            List<String> batchList = nameList.stream().skip(j).limit(Math.min(j + batchSize, size) - j).collect(Collectors.toList());
            list.add(batchList);
            j += batchSize;
        }

        // 先把 list 切分成小份資料,在使用 @Async(),非同步處理資料
        list.stream().parallel().forEach(this::asynchronousAuthorization1);
    }

    /**
     * 非同步註解處理業務邏輯,實際業務開發,需要提取到 Service 層,否則會報錯。
     *
     * @param paramList 入參
     */
    @Async("asyncServiceExecutor")
    public void asynchronousAuthorization1(List<String> paramList) {
        paramList.forEach(System.out::println);
        System.out.println("非同步執行 paramList 業務邏輯");
    }

//================================分隔符======================

    @Autowired
    private ExecutorService workerPool;

    /**
     * demo2: workerPool.execute() 實現非同步邏輯。適用於沒有返回值的情況下
     */
    public void asyncDemo2() {
        // 假設這是從資料庫查詢出來的資料
        List<String> nameList = new ArrayList<>(Arrays.asList("張三", "李四", "王五"));
        // 把 nameList 進行切分
        int j = 0, size = nameList.size(), batchSize = 10;
        List<List<String>> list = new ArrayList<>();
        while (j < size) {
            List<String> batchList = nameList.stream().skip(j).limit(Math.min(j + batchSize, size) - j).collect(Collectors.toList());
            list.add(batchList);
            j += batchSize;
        }

        // 將 list 切分成小份資料,workerPool.execute(),非同步處理資料
        list.stream().parallel().forEach(paramList->{
            workerPool.execute(()->asynchronousAuthorization2(paramList));
        });
    }

    public void asynchronousAuthorization2(List<String> paramList) {
        paramList.forEach(System.out::println);
        System.out.println("非同步執行 paramList 業務邏輯");
    }


//================================分隔符======================


    /**
     * demo3: futures.add() 實現非同步邏輯。適用於有返回值的情況下
     */
    public void asyncDemo3() {
        // 假設這是從資料庫查詢出來的資料
        List<String> nameList = new ArrayList<>(Arrays.asList("張三", "李四", "王五"));
        // 把 nameList 進行切分
        int j = 0, size = nameList.size(), batchSize = 10;
        List<List<String>> list = new ArrayList<>();
        while (j < size) {
            List<String> batchList = nameList.stream().skip(j).limit(Math.min(j + batchSize, size) - j).collect(Collectors.toList());
            list.add(batchList);
            j += batchSize;
        }

        List<CompletableFuture<String>> futures = new ArrayList<>();
        // 將 list 切分成小份資料,futures.add(),非同步處理資料,有返回值的情況下
        list.forEach(paramList->{
            // CompletableFuture.supplyAsync() 該任務會在一個新的執行緒中執行，並返回一個結果
            // 透過futures.add(...)將這個非同步任務新增到futures列表中。這樣可以方便後續對多個非同步任務進行管理和處理
            futures.add(CompletableFuture.supplyAsync(() -> {
                asynchronousAuthorization3(paramList);
               return "預設值";
            }, workerPool));

            // 防止太快,讓它休眠一下
            try {
                Thread.sleep(500);
            } catch (InterruptedException e) {
                throw new RuntimeException(e);
            }
        });

        //new CompletableFuture[0] 建立了一個初始長度為 0 的 CompletableFuture 陣列，作為目標陣列。然後，futures.toArray(new CompletableFuture[0]) 將 futures 列表中的元素複製到目標陣列中，並返回結果陣列。
        CompletableFuture<String>[] futuresArray = futures.toArray(new CompletableFuture[0]);
        // 透過將多個非同步任務新增到futures列表中，我們可以使用CompletableFuture提供的方法來對這些非同步任務進行組合、等待和處理。
        // 例如使用CompletableFuture.allOf(...)等待所有任務完成，或者使用CompletableFuture.join()獲取單個任務的結果等。
        CompletableFuture.allOf(futures.toArray(futuresArray)).join();

        // 獲取每個任務的結果或處理異常
        List<String> results = new ArrayList<>();
        for (CompletableFuture<String> future :futuresArray) {
            // 處理任務的異常
            future.exceptionally(ex -> {
                System.out.println("Task encountered an exception: " + ex.getMessage());
                return "0"; // 返回預設值或者做其他補償操作
            });

            // 獲取任務結果
            String result = future.join();
            results.add(result);
        }
        // 所有任務已完成，可以進行下一步操作
    }

    public void asynchronousAuthorization3(List<String> paramList) {
        paramList.forEach(System.out::println);
        System.out.println("非同步執行 paramList 業務邏輯");
    }
}

相關文章