SpringBoot中併發定時任務的實現、動態定時任務的實現（看這一篇就夠了）

JavaDoop發表於2019-04-05
Spring Boot

SpringBoot中併發定時任務的實現、動態定時任務的實現（看這一篇就夠了）

一、在JAVA開發領域，目前可以通過以下幾種方式進行定時任務

1、單機部署模式

  • Timer：jdk中自帶的一個定時排程類，可以簡單的實現按某一頻度進行任務執行。提供的功能比較單一，無法實現複雜的排程任務。
  • ScheduledExecutorService：也是jdk自帶的一個基於執行緒池設計的定時任務類。其每個排程任務都會分配到執行緒池中的一個執行緒執行，所以其任務是併發執行的，互不影響。
  • Spring Task：Spring提供的一個任務排程工具，支援註解和配置檔案形式，支援Cron表示式，使用簡單但功能強大。
  • Quartz：一款功能強大的任務排程器，可以實現較為複雜的排程功能，如每月一號執行、每天凌晨執行、每週五執行等等，還支援分散式排程，就是配置稍顯複雜。

2、分散式叢集模式（不多介紹，簡單提一下）

問題：

  • 如何解決定時任務的多次執行？
  • 如何解決任務的單點問題，實現任務的故障轉移？

問題1的簡單思考：

  • 固定執行定時任務的機器（可以有效避免多次執行的情況 ，缺點就是單點故障問題）。
  • 藉助Redis的過期機制和分散式鎖。
  • 藉助mysql的鎖機制等。

成熟的解決方案：

  • Quartz：可以去看看這篇文章Quartz分散式。
  • elastic-job：當開發的彈性分散式任務排程系統，採用zookeeper實現分散式協調，實現任務高可用以及分片。
  • xxl-job:是大眾點評員釋出的分散式任務排程平臺，是一個輕量級分散式任務排程框架。
  • saturn：是唯品會提供一個分散式、容錯和高可用的作業排程服務框架。

二、SpringTask實現定時任務（這裡是基於springboot）

1、簡單的定時任務實現

使用方式： 使用@EnableScheduling註解開啟對定時任務的支援。 使用@Scheduled 註解即可，基於corn、fixedRate、fixedDelay等一些定時策略來實現定時任務。

使用缺點：

  • 多個定時任務使用的是同一個排程執行緒，所以任務是阻塞執行的，執行效率不高。
  • 其次如果出現任務阻塞，導致一些場景的定時計算沒有實際意義，比如每天12點的一個計算任務被阻塞到1點去執行，會導致結果並非我們想要的。

使用優點：

  • 配置簡單
  • 適用於單個後臺執行緒執行週期任務，並且保證順序一致執行的場景

原始碼分析：

//預設使用的排程器
if(this.taskScheduler == null) {  
    this.localExecutor = Executors.newSingleThreadScheduledExecutor();
    this.taskScheduler = new ConcurrentTaskScheduler(this.localExecutor);
}
//可以看到SingleThreadScheduledExecutor指定的核心執行緒為1，說白了就是單執行緒執行
public static ScheduledExecutorService newSingleThreadScheduledExecutor() {
    return new DelegatedScheduledExecutorService
        (new ScheduledThreadPoolExecutor(1));
}
//利用了DelayedWorkQueue延時佇列作為任務的存放佇列，這樣便可以實現任務延遲執行或者定時執行
public ScheduledThreadPoolExecutor(int corePoolSize) {
    super(corePoolSize, Integer.MAX_VALUE, 0, NANOSECONDS,
          new DelayedWorkQueue());
}
複製程式碼

2、實現併發的定時任務

使用方式： 方式一：由1中我們知道之所以定時任務是阻塞執行，是配置的執行緒池決定的，那就好辦了，換一個不就行了！直接上程式碼：

  @Configuration
  public class ScheduledConfig implements SchedulingConfigurer {

      @Autowired
      private TaskScheduler myThreadPoolTaskScheduler;

      @Override
      public void configureTasks(ScheduledTaskRegistrar scheduledTaskRegistrar) {
          //簡單粗暴的方式直接指定
          //scheduledTaskRegistrar.setScheduler(Executors.newScheduledThreadPool(5));
          //也可以自定義的執行緒池，方便執行緒的使用與維護，這裡不多說了
          scheduledTaskRegistrar.setTaskScheduler(myThreadPoolTaskScheduler);
      }
  }

  @Bean(name = "myThreadPoolTaskScheduler")
  public TaskScheduler getMyThreadPoolTaskScheduler() {
      ThreadPoolTaskScheduler taskScheduler = new ThreadPoolTaskScheduler();
      taskScheduler.setPoolSize(10);
      taskScheduler.setThreadNamePrefix("Haina-Scheduled-");
      taskScheduler.setRejectedExecutionHandler(new ThreadPoolExecutor.CallerRunsPolicy());
      //排程器shutdown被呼叫時等待當前被排程的任務完成
      taskScheduler.setWaitForTasksToCompleteOnShutdown(true);
      //等待時長
      taskScheduler.setAwaitTerminationSeconds(60);
      return taskScheduler;
  }       
複製程式碼

方式二：方式一的本質改變了任務排程器預設使用的執行緒池，接下來這種是不改變排程器的預設執行緒池，而是把當前任務交給一個非同步執行緒池去執行

  • 首先使用@EnableAsync 啟用非同步任務
  • 然後在定時任務的方法加上@Async即可，預設使用的執行緒池為SimpleAsyncTaskExecutor（該執行緒池預設來一個任務建立一個執行緒，就會不斷建立大量執行緒，極有可能壓爆伺服器記憶體。當然它有自己的限流機制，這裡就不多說了，有興趣的自己翻翻原始碼~）
  • 專案中為了更好的控制執行緒的使用，我們可以自定義我們自己的執行緒池，使用方式@Async("myThreadPool")

廢話太多，直接上程式碼：

  @Scheduled(fixedRate = 1000*10,initialDelay = 1000*20)
  @Async("myThreadPoolTaskExecutor")
  //@Async
  public void scheduledTest02(){
      System.out.println(Thread.currentThread().getName()+"--->xxxxx--->"+Thread.currentThread().getId());
  }

  //自定義執行緒池
  @Bean(name = "myThreadPoolTaskExecutor")
  public TaskExecutor  getMyThreadPoolTaskExecutor() {
      ThreadPoolTaskExecutor taskExecutor = new ThreadPoolTaskExecutor();
      taskExecutor.setCorePoolSize(20);
      taskExecutor.setMaxPoolSize(200);
      taskExecutor.setQueueCapacity(25);
      taskExecutor.setKeepAliveSeconds(200);
      taskExecutor.setThreadNamePrefix("Haina-ThreadPool-");
      // 執行緒池對拒絕任務（無執行緒可用）的處理策略，目前只支援AbortPolicy、CallerRunsPolicy；預設為後者
      taskExecutor.setRejectedExecutionHandler(new ThreadPoolExecutor.CallerRunsPolicy());
      //排程器shutdown被呼叫時等待當前被排程的任務完成
      taskExecutor.setWaitForTasksToCompleteOnShutdown(true);
      //等待時長
      taskExecutor.setAwaitTerminationSeconds(60);
      taskExecutor.initialize();
      return taskExecutor;
  }
複製程式碼

執行緒池的使用心得

  • java中提供了ThreadPoolExecutor和ScheduledThreadPoolExecutor，對應與spring中的ThreadPoolTaskExecutor和ThreadPoolTaskScheduler，但是在原有的基礎上增加了新的特性，在spring環境下更容易使用和控制。
  • 使用自定義的執行緒池能夠避免一些預設執行緒池造成的記憶體溢位、阻塞等等問題，更貼合自己的服務特性
  • 使用自定義的執行緒池便於對專案中執行緒的管理、維護以及監控。
  • 即便在非spring環境下也不要使用java預設提供的那幾種執行緒池，坑很多，阿里程式碼規約不說了嗎，得相信大廠！！！

三、動態定時任務的實現

問題： 使用@Scheduled註解來完成設定定時任務，但是有時候我們往往需要對週期性的時間的設定會做一些改變，或者要動態的啟停一個定時任務，那麼這個時候使用此註解就不太方便了，原因在於這個註解中配置的cron表示式必須是常量，那麼當我們修改定時引數的時候，就需要停止服務，重新部署。

解決辦法： 方式一：實現SchedulingConfigurer介面，重寫configureTasks方法，重新制定Trigger,核心方法就是addTriggerTask(Runnable task, Trigger trigger) ，不過需要注意的是，此種方式修改了配置值後，需要在下一次排程結束後，才會更新排程器，並不會在修改配置值時實時更新，實時更新需要在修改配置值時額外增加相關邏輯處理。

  @Configuration
  public class ScheduledConfig implements SchedulingConfigurer {

  @Autowired
  private TaskScheduler myThreadPoolTaskScheduler;

  @Override
  public void configureTasks(ScheduledTaskRegistrar scheduledTaskRegistrar) {
      //scheduledTaskRegistrar.setScheduler(Executors.newScheduledThreadPool(5));
      scheduledTaskRegistrar.setTaskScheduler(myThreadPoolTaskScheduler);
      //可以實現動態調整定時任務的執行頻率
      scheduledTaskRegistrar.addTriggerTask(
              //1.新增任務內容(Runnable)
              () -> System.out.println("cccccccccccccccc--->" + Thread.currentThread().getId()),
              //2.設定執行週期(Trigger)
              triggerContext -> {
                  //2.1 從資料庫動態獲取執行週期
                  String cron = "0/2 * * * * ? ";
                  //2.2 合法性校驗.
  //                    if (StringUtils.isEmpty(cron)) {
  //                        // Omitted Code ..
  //                    }
                      //2.3 返回執行週期(Date)
                      return new CronTrigger(cron).nextExecutionTime(triggerContext);
                  }
          );
  }
  }
複製程式碼

方式二：使用threadPoolTaskScheduler類可實現動態新增刪除功能，當然也可實現執行頻率的調整

首先，我們要認識下這個排程類，它其實是對java中ScheduledThreadPoolExecutor的一個封裝改進後的產物，主要改進有以下幾點：

  • 提供預設配置，因為是ScheduledThreadPoolExecutor，所以只有poolSize這一個預設引數。
  • 支援自定義任務，通過傳入Trigger引數。
  • 對任務出錯處理進行優化，如果是重複性的任務，不丟擲異常，通過日誌記錄下來，不影響下次執行，如果是隻執行一次的任務，將異常往上拋。

順便說下ThreadPoolTaskExecutor相對於ThreadPoolExecutor的改進點：

  • 提供預設配置，原生的ThreadPoolExecutor的除了ThreadFactory和RejectedExecutionHandler其他沒有預設配置
  • 實現AsyncListenableTaskExecutor介面，支援對FutureTask新增success和fail的回撥，任務成功或失敗的時候回執行對應回撥方法。
  • 因為是spring的工具類，所以丟擲的RejectedExecutionException也會被轉換為spring框架的TaskRejectedException異常(這個無所謂)
  • 提供預設ThreadFactory實現，直接通過引數過載配置

扯了這麼多，還是直接上程式碼：

  @Component
  public class DynamicTimedTask {

      private static final Logger logger = LoggerFactory.getLogger(DynamicTimedTask.class);

      //利用建立好的排程類統一管理
      //@Autowired
      //@Qualifier("myThreadPoolTaskScheduler")
      //private ThreadPoolTaskScheduler myThreadPoolTaskScheduler;


      //接受任務的返回結果
      private ScheduledFuture<?> future;

      @Autowired
      private ThreadPoolTaskScheduler threadPoolTaskScheduler;

      //例項化一個執行緒池任務排程類,可以使用自定義的ThreadPoolTaskScheduler
      @Bean
      public ThreadPoolTaskScheduler threadPoolTaskScheduler() {
          ThreadPoolTaskScheduler executor = new ThreadPoolTaskScheduler();
          return new ThreadPoolTaskScheduler();
      }


      /**
       * 啟動定時任務
       * @return
       */
      public boolean startCron() {
          boolean flag = false;
          //從資料庫動態獲取執行週期
          String cron = "0/2 * * * * ? ";
          future = threadPoolTaskScheduler.schedule(new CheckModelFile(),cron);
          if (future!=null){
              flag = true;
              logger.info("定時check訓練模型檔案,任務啟動成功！！！");
          }else {
              logger.info("定時check訓練模型檔案,任務啟動失敗！！！");
          }
          return flag;
      }

      /**
       * 停止定時任務
       * @return
       */
      public boolean stopCron() {
          boolean flag = false;
          if (future != null) {
              boolean cancel = future.cancel(true);
              if (cancel){
                  flag = true;
                  logger.info("定時check訓練模型檔案,任務停止成功！！！");
              }else {
                  logger.info("定時check訓練模型檔案,任務停止失敗！！！");
              }
          }else {
              flag = true;
              logger.info("定時check訓練模型檔案，任務已經停止！！！");
          }
          return flag;
      }


      class CheckModelFile implements Runnable{

          @Override
          public void run() {
              //編寫你自己的業務邏輯  
              System.out.print("模型檔案檢查完畢！！！")
          }
      }

  }
複製程式碼

四、總結

到此基於springtask下的定時任務的簡單使用算是差不多了，其中不免有些錯誤的地方，或者理解有偏頗的地方歡迎大家提出來！

讀者福利：

分享免費學習資料

針對於還會準備免費的Java架構學習資料（裡面有高可用、高併發、高效能及分散式、Jvm效能調優、MyBatis，Netty,Redis,Kafka,Mysql,Zookeeper,Tomcat,Docker,Dubbo,Nginx等多個知識點的架構資料） 為什麼某些人會一直比你優秀，是因為他本身就很優秀還一直在持續努力變得更優秀，而你是不是還在滿足於現狀內心在竊喜！希望讀到這的您能點個小贊和關注下我，以後還會更新技術乾貨，謝謝您的支援！

資料領取方式：加入粉絲群963944895，私信管理員即可免費領取

相關文章