SpringCloud微服務實戰——搭建企業級開發框架(四十二):整合分散式任務排程平臺XXL-JOB,實現定時任務功能

全棧程式猿發表於2022-06-10

  定時任務幾乎是每個業務系統必不可少的功能,計算到期時間、過期時間等,定時觸發某項任務操作。在使用單體應用時,基本使用Spring提供的註解即可實現定時任務,而在使用微服務叢集時,這種方式就要考慮新增分散式鎖來防止多個微服務同時執行定時任務而導致同一個任務重複執行。
  除了使用註解,現在還有一種方式,就是搭建分散式任務平臺,所有的微服務註冊到分散式任務平臺,由分散式任務平臺統一排程,這樣避免了同一任務被重複執行。這裡我們選擇使用XXL-JOB作為分散式任務排程平臺,XXL-JOB核心設計目標是開發迅速、學習簡單、輕量級、易擴充套件。
  使用分散式任務排程平臺的優點除了避免同一任務重複執行外,還有使用簡單,可以手動執行、有詳細的排程日誌檢視任務具體執行情況等優點。
  XXL-JOB官方架構設計圖:

xxl-job v2.1.0架構圖

  下面我們按照步驟來介紹,如何結合我們的微服務平臺將分散式任務排程平臺XXL-JOB整合進來,實現我們需要的定時任務功能。

一、微服務框架整合xxl-job-admin

1、XXL-JOB開源網站下載原始碼,下載地址 https://github.com/xuxueli/xxl-job/releases ,下載下來的原始碼如下:
xxl-job-admin:排程中心
xxl-job-core:公共依賴
xxl-job-executor-samples:執行器Sample示例(選擇合適的版本執行器,可直接使用,也可以參考其並將現有專案改造成執行器)
    :xxl-job-executor-sample-springboot:Springboot版本,通過Springboot管理執行器,推薦這種方式;
    :xxl-job-executor-sample-frameless:無框架版本;

  下載下來的開源包有三個目錄:xxl-job-admin、xxl-job-core和xxl-job-executor-samples,顧名思義,xxl-job-admin是分散式任務平臺的服務端兼管理臺,我們需要部署的也是這個工程,我們可以把整個工程整合到我們的微服務中,統一打包部署;xxl-job-core是公共依賴包,我們其他需要實現定時任務的微服務需要引入這個包來實現定時任務執行器。xxl-job-executor-samples為定時任務執行器的例項程式碼。

2、在基礎平臺gitegg-platform工程gitegg-platform-bom中引入xxl-job-core核心包,統一版本管理。
......
        <!--分散式任務排程平臺XXL-JOB核心包-->
        <xxl-job.version>2.3.1</xxl-job.version>
......
            <!--分散式任務排程平臺XXL-JOB核心包-->
            <dependency>
                <groupId>com.xuxueli</groupId>
                <artifactId>xxl-job-core</artifactId>
                <version>${xxl-job.version}</version>
            </dependency>
3、將xxl-job-admin整合到微服務工程中,方便統一打包部署

  根據我們的微服務架構設計,gitegg-plugin作為我們系統的外掛工程,裡面放置我們需要的外掛服務。有些外掛是必須的,而有些外掛可能會用不到,此時我們就可以根據自己的業務需求去選擇部署業務外掛。
  為和我們的微服務深度整合就不是解耦的特性,我們需要對xxl-job-admin的配置檔案進行適當的修改:

  • 首先修改pom.xml,保持各依賴庫版本一致,修改parent標籤,使其引用GitEgg工程的基礎jar包和微服務配置註冊功能,同時排除logback,使用log4j2記錄日誌
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <parent>
        <artifactId>gitegg-plugin</artifactId>
        <groupId>com.gitegg.cloud</groupId>
        <version>1.0.1.RELEASE</version>
    </parent>
    <modelVersion>4.0.0</modelVersion>
    
    <artifactId>gitegg-job</artifactId>
    <name>${project.artifactId}</name>
    <packaging>jar</packaging>

    <properties>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>
        <maven.compiler.encoding>UTF-8</maven.compiler.encoding>
        <maven.compiler.source>1.8</maven.compiler.source>
        <maven.compiler.target>1.8</maven.compiler.target>
        <maven.test.skip>true</maven.test.skip>

        <netty-all.version>4.1.63.Final</netty-all.version>
        <gson.version>2.9.0</gson.version>

        <spring.version>5.3.20</spring.version>
        <spring-boot.version>2.6.7</spring-boot.version>

        <mybatis-spring-boot-starter.version>2.2.2</mybatis-spring-boot-starter.version>
        <mysql-connector-java.version>8.0.29</mysql-connector-java.version>

        <slf4j-api.version>1.7.36</slf4j-api.version>
        <junit-jupiter.version>5.8.2</junit-jupiter.version>
        <javax.annotation-api.version>1.3.2</javax.annotation-api.version>

        <groovy.version>3.0.10</groovy.version>

        <maven-source-plugin.version>3.2.1</maven-source-plugin.version>
        <maven-javadoc-plugin.version>3.4.0</maven-javadoc-plugin.version>
        <maven-gpg-plugin.version>3.0.1</maven-gpg-plugin.version>
    </properties>
    
    <dependencies>
        <!-- gitegg Spring Boot自定義及擴充套件 -->
        <dependency>
            <groupId>com.gitegg.platform</groupId>
            <artifactId>gitegg-platform-boot</artifactId>
        </dependency>
        <!-- gitegg Spring Cloud自定義及擴充套件 -->
        <dependency>
            <groupId>com.gitegg.platform</groupId>
            <artifactId>gitegg-platform-cloud</artifactId>
        </dependency>
        <dependency>
            <groupId>org.mybatis.spring.boot</groupId>
            <artifactId>mybatis-spring-boot-starter</artifactId>
            <version>${mybatis-spring-boot-starter.version}</version>
            <!-- 去除springboot預設的logback配置-->
            <exclusions>
                <exclusion>
                    <groupId>org.springframework.boot</groupId>
                    <artifactId>spring-boot-starter</artifactId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
            <!-- 去除springboot預設的logback配置-->
            <exclusions>
                <exclusion>
                    <groupId>org.springframework.boot</groupId>
                    <artifactId>spring-boot-starter</artifactId>
                </exclusion>
            </exclusions>
        </dependency>
        <!-- freemarker-starter -->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-freemarker</artifactId>
            <!-- 去除springboot預設的logback配置-->
            <exclusions>
                <exclusion>
                    <groupId>org.springframework.boot</groupId>
                    <artifactId>spring-boot-starter</artifactId>
                </exclusion>
            </exclusions>
        </dependency>
        <!-- mail-starter -->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-mail</artifactId>
            <!-- 去除springboot預設的logback配置-->
            <exclusions>
                <exclusion>
                    <groupId>org.springframework.boot</groupId>
                    <artifactId>spring-boot-starter</artifactId>
                </exclusion>
            </exclusions>
        </dependency>
        <!-- starter-actuator -->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-actuator</artifactId>
            <!-- 去除springboot預設的logback配置-->
            <exclusions>
                <exclusion>
                    <groupId>org.springframework.boot</groupId>
                    <artifactId>spring-boot-starter</artifactId>
                </exclusion>
            </exclusions>
        </dependency>
        <!-- mysql -->
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>${mysql-connector-java.version}</version>
        </dependency>
        <!--分散式任務排程平臺XXL-JOB核心包-->
        <dependency>
            <groupId>com.xuxueli</groupId>
            <artifactId>xxl-job-core</artifactId>
            <!-- 去除衝突的slf4j配置-->
            <exclusions>
                <exclusion>
                    <groupId>org.slf4j</groupId>
                    <artifactId>slf4j-api</artifactId>
                </exclusion>
            </exclusions>
        </dependency>

    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>com.google.cloud.tools</groupId>
                <artifactId>jib-maven-plugin</artifactId>
            </plugin>
        </plugins>
    </build>

</project>

  • 修改application.properties ,根據我們系統的規範,新增bootstrap.yml、bootstrap-dev.yml、bootstrap-prod.yml、bootstrap-test.yml檔案。將application.properties部分配置,移到bootstrap.yml配置中。因xxl-job-admin單獨資料庫,且其預設使用的是Hikari資料庫連線池,這裡我們不打算改動,仍然使其保持原有的資料庫配置,我們將可配置的內容放置在Nacos微服務配置中心上,同時在bootstrap.yml中新增多yaml檔案配置(請注意,在我們本地使用的是yml結尾的檔案,Nacos服務註冊中心上使用的是yaml結尾的檔案,兩者是一樣的,只是副檔名的不同)。

bootstrap.yml配置:

server:
  port: 8007
spring:
  profiles:
    active: '@spring.profiles.active@'
  application:
    name: '@artifactId@'
  cloud:
    inetutils:
      ignored-interfaces: docker0
    nacos:
      discovery:
        server-addr: ${spring.nacos.addr}
      config:
        server-addr: ${spring.nacos.addr}
        file-extension: yaml
        extension-configs:
          # 必須帶副檔名,此時 file-extension 的配置對自定義擴充套件配置的 Data Id 副檔名沒有影響
          - data-id: ${spring.nacos.config.prefix}.yaml
            group: ${spring.nacos.config.group}
            refresh: true
          - data-id: ${spring.nacos.config.prefix}-xxl-job.yaml
            group: ${spring.nacos.config.group}
            refresh: true
  ### xxl-job-admin config
  mvc:
    servlet:
      load-on-startup: 0
    static-path-pattern: /static/**
  resources:
    static-locations: classpath:/static/
  ### freemarker
  freemarker:
    templateLoaderPath: classpath:/templates/
    suffix: .ftl
    charset: UTF-8
    request-context-attribute: request
    settings.number_format: 0.##########
### actuator
management:
  server:
    servlet:
      context-path: /actuator
  health:
    mail:
      enabled: false
### mybatis
mybatis:
  mapper-locations: classpath:/mybatis-mapper/*Mapper.xml


Nacos上gitegg-cloud-config-xxl-job.yaml配置:

server:
  servlet:
    context-path: /xxl-job-admin
spring:
  datasource:
    url: jdbc:mysql://127.0.0.1/xxl_job?useSSL=false&zeroDateTimeBehavior=convertToNull&useUnicode=true&characterEncoding=utf8&allowMultiQueries=true&serverTimezone=GMT%2B8
    username: root
    password: root
    driver-class-name: com.mysql.cj.jdbc.Driver
    ### datasource-pool
    type: com.zaxxer.hikari.HikariDataSource
    hikari:
      minimum-idle: 10
      maximum-pool-size: 30
      auto-commit: true
      idle-timeout: 30000
      pool-name: HikariCP
      max-lifetime: 900000
      connection-timeout: 10000
      connection-test-query: SELECT 1
      validation-timeout: 1000
  ### email
  mail:
    host: smtp.qq.com
    port: 25
    username: xxx@qq.com
    from: xxx@qq.com
    password: xxx
    properties:
      mail:
        smtp:
          auth: true
          starttls:
            enable: true
            required: true
          socketFactory:
            class: javax.net.ssl.SSLSocketFactory
### xxl-job, access token
xxl:
  job:
    accessToken: default_token
    ### xxl-job, i18n (default is zh_CN, and you can choose "zh_CN", "zh_TC" and "en")
    i18n: zh_CN
    ## xxl-job, triggerpool max size
    triggerpool: 
      fast: 
        max: 200
      slow:
        max: 100
    ### xxl-job, log retention days
    logretentiondays: 30
4、初始化xxl-job-admin需要的資料庫指令碼

  初始化指令碼存放在下載的包目錄的\xxl-job-2.3.1\doc\db\tables_xxl_job.sql中,一共需要8張表。我們將xxl-job-admin的資料庫和業務資料庫分開,配置不同的資料來源,在Nacos配置單獨的xxl-job-admin配置檔案。

  • 新建xxl_job資料庫

xxl_job資料庫

  • 開啟資料庫執行建表語句

5、在GitEgg工程的父級pom.xml下新增靜態檔案過濾

  xxl-job-admin是SpringMVC專案,其前端頁面由ftl檔案和靜態檔案組成,預設情況下maven啟用分環境讀取配置時,會對resource目錄下的@進行替換,導致靜態檔案下的字型檔案不能用,所以,這裡需要進行和jks檔案一樣的過濾配置:

        <resources>
            <!-- 增加分環境讀取配置 -->
            <resource>
                <directory>src/main/resources</directory>
                <filtering>true</filtering>
                <excludes>
                    <exclude>**/*.jks</exclude>
                    <exclude>static/**</exclude>
                </excludes>
            </resource>
            <!-- 解決jks被過濾掉的問題 -->
            <resource>
                <directory>src/main/resources</directory>
                <filtering>false</filtering>
                <includes>
                    <include>**/*.jks</include>
                    <include>static/**</include>
                </includes>
            </resource>
            <resource>
                <directory>src/main/java</directory>
                <includes>
                    <include>**/*.xml</include>
                </includes>
            </resource>
        </resources>
6、在Gateway新增xxl-job-admin路由轉發

  xxl-job-admin路由轉發需要新增兩方面內容,一個是xxl-job-admin註冊到Nacos註冊中心上的gitegg-job服務,一個是xxl-job-admin前端頁面請求的靜態檔案轉發。第一個是為了和我們整體微服務保持一致,第二個是為了解決xxl-job-admin前端ftl頁面在請求靜態檔案時,請求的是/xxl-job-admin根路徑。新增Gateway路由轉發配置如下:

        - id: gitegg-job
          uri: lb://gitegg-job
          predicates:
            - Path=/gitegg-job/**
          filters:
            - StripPrefix=1
        - id: xxl-job-admin
          uri: lb://gitegg-job
          predicates:
            - Path=/xxl-job-admin/**
          filters:
            - StripPrefix=0
7、增加xxl-job-admin訪問白名單

  xxl-job-admin有自己的許可權訪問控制,我們不在閘道器對其進行鑑權,所以在Nacos配置中,增加白名單配置:

# 閘道器放行設定 1、whiteUrls不需要鑑權的公共url,白名單,配置白名單路徑 2、authUrls需要鑑權的公共url
oauth-list:
......
  whiteUrls:
......
    - "/gitegg-job/**"
    - "/xxl-job-admin/**"
......
8、啟動xxl-job-admin微服務,檢視是否啟動成功,預設使用者名稱密碼: admin/123456

啟動成功

登入頁

登入成功頁

二、測試XXL-JOB定時任務功能

  我們在上面的第一步中,完成了xxl-job-admin的整合和啟動,xxl-job-admin可以看做是分散式任務的服務註冊中心和管理臺,如果我們需要實現定時任務,還需要具體實現執行器讓xxl-job-admin呼叫執行。
  XXL-JOB支援多種方式的定時任務呼叫,可以將定時任務執行器寫在業務程式碼中,也可以寫在xxl-job-admin服務端:

  • BEAN模式(類形式): Bean模式任務,支援基於類的開發方式,每個任務對應一個Java類。
  • BEAN模式(方法形式): Bean模式任務,支援基於方法的開發方式,每個任務對應一個方法。
  • GLUE模式(Java/Shell/Python/NodeJS/PHP/PowerShell) :任務以原始碼方式維護在排程中心,支援通過Web IDE線上更新,實時編譯和生效,因此不需要指定JobHandler。
1、增加xxl-job通用配置

  新增gitegg-platform-xxl-job工程,增加通用配置XxlJobConfig.java通用配置,這樣在需要使用定時任務的微服務中,只需要引入一次即可,不需要重複配置。

XxlJobConfig.java:

package com.gitegg.platform.xxl.job.config;

import com.xxl.job.core.executor.impl.XxlJobSpringExecutor;
import lombok.extern.slf4j.Slf4j;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

/**
 * xxl-job config
 *
 * @author xuxueli 2017-04-28
 */
@Slf4j
@Configuration
public class XxlJobConfig {

    @Value("${xxl.job.admin.addresses}")
    private String adminAddresses;

    @Value("${xxl.job.accessToken}")
    private String accessToken;

    @Value("${xxl.job.executor.appname}")
    private String appname;

    @Value("${xxl.job.executor.address}")
    private String address;

    @Value("${xxl.job.executor.ip}")
    private String ip;

    @Value("${xxl.job.executor.port}")
    private int port;

    @Value("${xxl.job.executor.logpath}")
    private String logPath;

    @Value("${xxl.job.executor.logretentiondays}")
    private int logRetentionDays;


    @Bean
    public XxlJobSpringExecutor xxlJobExecutor() {
        log.info(">>>>>>>>>>> xxl-job config init.");
        XxlJobSpringExecutor xxlJobSpringExecutor = new XxlJobSpringExecutor();
        xxlJobSpringExecutor.setAdminAddresses(adminAddresses);
        xxlJobSpringExecutor.setAppname(appname);
        xxlJobSpringExecutor.setAddress(address);
        xxlJobSpringExecutor.setIp(ip);
        xxlJobSpringExecutor.setPort(port);
        xxlJobSpringExecutor.setAccessToken(accessToken);
        xxlJobSpringExecutor.setLogPath(logPath);
        xxlJobSpringExecutor.setLogRetentionDays(logRetentionDays);

        return xxlJobSpringExecutor;
    }

    /**
     * 針對多網路卡、容器內部署等情況,可藉助 "spring-cloud-commons" 提供的 "InetUtils" 元件靈活定製註冊IP;
     *
     *      1、引入依賴:
     *          <dependency>
     *             <groupId>org.springframework.cloud</groupId>
     *             <artifactId>spring-cloud-commons</artifactId>
     *             <version>${version}</version>
     *         </dependency>
     *
     *      2、配置檔案,或者容器啟動變數
     *          spring.cloud.inetutils.preferred-networks: 'xxx.xxx.xxx.'
     *
     *      3、獲取IP
     *          String ip_ = inetUtils.findFirstNonLoopbackHostInfo().getIpAddress();
     */
}

Nacos配置中心:

xxl:
  job:
    admin:
      addresses: http://127.0.0.1/xxl-job-admin
    accessToken: 'default_token'
    executor:
      appname: ${spring.application.name}
      address:
      ip:
      port: 9999
      logpath: D:\\log4j2_nacos\\xxl-job\\jobhandler
      logretentiondays: 30
2、實現定時任務測試程式碼

  我們在gitegg-service-system中測試定時任務執行器,先在pom.xml中新增gitegg-platform-xxl-job依賴,然後新增SystemJobHandler.java測試類

SystemJobHandler.java:

package com.gitegg.service.system.jobhandler;

import com.xxl.job.core.biz.model.ReturnT;
import com.xxl.job.core.context.XxlJobHelper;
import com.xxl.job.core.handler.annotation.XxlJob;
import lombok.extern.slf4j.Slf4j;
import org.springframework.stereotype.Component;

import java.util.concurrent.TimeUnit;

/**
 * 定時任務示例程式碼,其他更多示例請檢視
 * https://www.xuxueli.com/xxl-job
 * @author GitEgg
 */
@Slf4j
@Component
public class SystemJobHandler {
    
    /**
     * 1、簡單任務示例(Bean模式)不帶返回值
     */
    @XxlJob("systemJobHandler")
    public void systemJobHandler() throws Exception {
        
        XxlJobHelper.log("不帶返回值:XXL-JOB, Hello World.");
        for (int i = 0; i < 5; i++) {
            XxlJobHelper.log("beat at:" + i);
            TimeUnit.SECONDS.sleep(2);
        }
    }
    
    /**
     * 2、簡單任務示例(Bean模式)帶成功或失敗返回值
     */
    @XxlJob("userJobHandler")
    public ReturnT<String> userJobHandler() throws Exception {
        
        XxlJobHelper.log("帶返回值:XXL-JOB, Hello World.");
        for (int i = 0; i < 5; i++) {
            XxlJobHelper.log("beat at:" + i);
            TimeUnit.SECONDS.sleep(2);
        }
        return ReturnT.SUCCESS;
    }

}

3、配置xxl-job-admin新增執行器
  • 新增時:

新增

  • gitegg-service-system服務啟動後,自動註冊:

自動註冊

4、新增xxl-job-admin任務

  執行器可以看做是一組微服務,而任務是微服務具體執行的方法。任務新增後,預設是STOP狀態,需要手動啟動,當列表顯示RUNNING時,表示該任務是執行狀態,會根據配置的時間執行。

任務新增介面

任務啟動

5、檢視執行器是否執行

  在本地開發環境檢視任務執行的方式有多種,直接Debug也可以,生產環境我們可以檢視xxl-job日誌,在測試程式碼中記錄的log,在xxl-job-admin管理臺都可以詳細檢視。

排程日誌列表

排程日誌詳情

  通過以上操作步驟,我們將xxl-job和xxl-job-admin整合到了我們的微服務架構中,只需要在有任務排程需求的微服務中實現執行器就可以滿足我們的需求了。

原始碼地址:

Gitee: https://gitee.com/wmz1930/GitEgg

GitHub: https://github.com/wmz1930/GitEgg

相關文章