Quartz在Spring中叢集
概述
雖然單個Quartz例項能給予你很好的Job排程能力,但它不能滿足典型的企業需求,如可伸縮性、高可靠性滿足。假如你需要故障轉移的能力並能執行日益增多的 Job,Quartz叢集勢必成為你應用的一部分了。使用 Quartz 的叢集能力可以更好的支援你的業務需求,並且即使是其中一臺機器在最糟的時間崩潰了也能確保所有的 Job 得到執行。
Quartz 中叢集如何工作
一個 Quartz 叢集中的每個節點是一個獨立的 Quartz 應用,它又管理著其他的節點。意思是你必須對每個節點分別啟動或停止。不像許多應用伺服器的叢集,獨立的 Quartz 節點並不與另一其的節點或是管理節點通訊。Quartz 應用是通過資料庫表來感知到另一應用的。
圖:表示了每個節點直接與資料庫通訊,若離開資料庫將對其他節點一無所知
建立Quartz資料庫表
因為Quartz 叢集依賴於資料庫,所以必須首先建立Quartz資料庫表。Quartz 包括了所有被支援的資料庫平臺的 SQL 指令碼。在 <quartz_home>/docs/dbTables 目錄下找到那些 SQL 指令碼,這裡的 <quartz_home> 是解壓 Quartz 分發包後的目錄。
這裡採用的Quartz 2.2.1版本,總共11張表,不同版本,表個數可能不同。資料庫為mysql,用tables_mysql_innodb.sql建立資料庫表。
配置資料庫連線池
1.配置jdbc.properties檔案
- jdbc.driverClassName=com.mysql.jdbc.Driver
- jdbcjdbc.url=jdbc:mysql://localhost:3306/quartz?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true
- jdbc.username=root
- jdbc.password=kfs
2.配置applicationContext.xml檔案
- <?xml version="1.0" encoding="UTF-8"?>
- <beans xmlns="http://www.springframework.org/schema/beans"
- xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:jdbc="http://www.springframework.org/schema/jdbc"
- xmlns:context="http://www.springframework.org/schema/context"
- xsi:schemaLocation="
- http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd
- http://www.springframework.org/schema/jdbc http://www.springframework.org/schema/jdbc/spring-jdbc.xsd
- http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context.xsd
- ">
- <context:component-scan base-package="com.sundoctor" />
- <!-- 屬性檔案讀入 -->
- <bean id="propertyConfigurer"
- class="org.springframework.beans.factory.config.PropertyPlaceholderConfigurer">
- <property name="locations">
- <list>
- <value>classpath:jdbc.properties</value>
- </list>
- </property>
- </bean>
- <!-- 資料來源定義,使用c3p0 連線池 -->
- <bean id="dataSource" class="com.mchange.v2.c3p0.ComboPooledDataSource"
- destroy-method="close">
- <property name="driverClass" value="${jdbc.driverClassName}" />
- <property name="jdbcUrl" value="${jdbc.url}" />
- <property name="user" value="${jdbc.username}" />
- <property name="password" value="${jdbc.password}" />
- <property name="initialPoolSize" value="${cpool.minPoolSize}" />
- <property name="minPoolSize" value="${cpool.minPoolSize}" />
- <property name="maxPoolSize" value="${cpool.maxPoolSize}" />
- <property name="acquireIncrement" value="${cpool.acquireIncrement}" />
- <property name="maxIdleTime" value="${cpool.maxIdleTime}" />
- </bean>
- </beans>
建立Job測試服務類
- package com.sundoctor.quartz.cluster.example;
- import java.io.Serializable;
- import org.slf4j.Logger;
- import org.slf4j.LoggerFactory;
- import org.springframework.stereotype.Service;
- @Service("simpleService")
- public class SimpleService {
- private static final long serialVersionUID = 122323233244334343L;
- private static final Logger logger = LoggerFactory.getLogger(SimpleService.class);
- public void testMethod1(){
- //這裡執行定時排程業務
- logger.info("testMethod1.......1");
- }
- public void testMethod2(){
- logger.info("testMethod2.......2");
- }
- }
建立兩個Job類MyQuartzJobBean1、MyQuartzJobBean2
- package com.sundoctor.quartz.cluster.example;
- import org.quartz.DisallowConcurrentExecution;
- import org.quartz.JobExecutionContext;
- import org.quartz.JobExecutionException;
- import org.quartz.PersistJobDataAfterExecution;
- import org.quartz.SchedulerException;
- import org.slf4j.Logger;
- import org.slf4j.LoggerFactory;
- import org.springframework.context.ApplicationContext;
- import org.springframework.scheduling.quartz.QuartzJobBean;
- @PersistJobDataAfterExecution
- @DisallowConcurrentExecution// 不允許併發執行
- public class MyQuartzJobBean1 extends QuartzJobBean {
- private static final Logger logger = LoggerFactory.getLogger(MyQuartzJobBean1.class);
- @Override
- protected void executeInternal(JobExecutionContext jobexecutioncontext) throws JobExecutionException {
- SimpleService simpleService = getApplicationContext(jobexecutioncontext).getBean("simpleService",
- SimpleService.class);
- simpleService.testMethod1();
- }
- private ApplicationContext getApplicationContext(final JobExecutionContext jobexecutioncontext) {
- try {
- return (ApplicationContext) jobexecutioncontext.getScheduler().getContext().get("applicationContextKey");
- } catch (SchedulerException e) {
- logger.error("jobexecutioncontext.getScheduler().getContext() error!", e);
- throw new RuntimeException(e);
- }
- }
- }
配置 Quartz 使用叢集
1.配置節點的 quartz.properties 檔案
org.quartz.scheduler.instanceName = TestScheduler1
org.quartz.scheduler.instanceId = AUTO
org.quartz.threadPool.class = org.quartz.simpl.SimpleThreadPool
org.quartz.threadPool.threadCount = 10
org.quartz.threadPool.threadPriority = 5
org.quartz.threadPool.threadsInheritContextClassLoaderOfInitializingThread = true
org.quartz.jobStore.misfireThreshold = 60000
org.quartz.jobStore.class = org.quartz.impl.jdbcjobstore.JobStoreTX
org.quartz.jobStore.driverDelegateClass=org.quartz.impl.jdbcjobstore.StdJDBCDelegate
org.quartz.jobStore.tablePrefix = QRTZ_
org.quartz.jobStore.maxMisfiresToHandleAtATime=10
org.quartz.jobStore.isClustered = true
org.quartz.jobStore.clusterCheckinInterval = 20000
org.quartz.scheduler.instanceName屬性可為任何值,用在 JDBC JobStore 中來唯一標識例項,但是所有叢集節點中必須相同。
org.quartz.scheduler.instanceId 屬性為 AUTO即可,基於主機名和時間戳來產生例項 ID。
org.quartz.jobStore.class屬性為 JobStoreTX,將任務持久化到資料中。因為叢集中節點依賴於資料庫來傳播 Scheduler 例項的狀態,你只能在使用 JDBC JobStore 時應用 Quartz 叢集。這意味著你必須使用 JobStoreTX 或是 JobStoreCMT 作為 Job 儲存;你不能在叢集中使用 RAMJobStore。
org.quartz.jobStore.isClustered 屬性為 true,你就告訴了 Scheduler 例項要它參與到一個叢集當中。這一屬性會貫穿於排程框架的始終,用於修改叢集環境中操作的預設行為。
org.quartz.jobStore.clusterCheckinInterval 屬性定義了Scheduler 例項檢入到資料庫中的頻率(單位:毫秒)。Scheduler 檢查是否其他的例項到了它們應當檢入的時候未檢入;這能指出一個失敗的 Scheduler 例項,且當前 Scheduler 會以此來接管任何執行失敗並可恢復的 Job。通過檢入操作,Scheduler 也會更新自身的狀態記錄。clusterChedkinInterval 越小,Scheduler 節點檢查失敗的 Scheduler 例項就越頻繁。預設值是 15000 (即15 秒)。
2.配置applicationContext-quartz.xml檔案
- <?xml version="1.0" encoding="UTF-8"?>
- <beans xmlns="http://www.springframework.org/schema/beans"
- xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
- xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd">
- <bean name="quartzScheduler"
- class="org.springframework.scheduling.quartz.SchedulerFactoryBean">
- <property name="dataSource">
- <ref bean="dataSource" />
- </property>
- <property name="applicationContextSchedulerContextKey" value="applicationContextKey" />
- <property name="configLocation" value="classpath:quartz.properties" />
- <property name="triggers">
- <list>
- <ref bean="trigger1" />
- <ref bean="trigger2" />
- </list>
- </property>
- </bean>
- <bean id="jobDetail1" class="org.springframework.scheduling.quartz.JobDetailFactoryBean">
- <property name="jobClass">
- <value>com.sundoctor.quartz.cluster.example.MyQuartzJobBean1</value>
- </property>
- <property name="durability" value="true" />
- <property name="requestsRecovery" value="true" />
- </bean>
- <bean id="trigger1" class="org.springframework.scheduling.quartz.CronTriggerFactoryBean">
- <property name="jobDetail" ref="jobDetail1" />
- <property name="cronExpression" value="0/30 * * ? * * *" />
- </bean>
- <bean id="jobDetail2" class="org.springframework.scheduling.quartz.JobDetailFactoryBean">
- <property name="jobClass">
- <value>com.sundoctor.quartz.cluster.example.MyQuartzJobBean2</value>
- </property>
- <property name="durability" value="true" />
- <property name="requestsRecovery" value="true" />
- </bean>
- <bean id="trigger2" class="org.springframework.scheduling.quartz.CronTriggerFactoryBean">
- <property name="jobDetail" ref="jobDetail2" />
- <property name="cronExpression" value="0/10 * * ? * * *" />
- </bean>
- </beans>
dataSource:專案中用到的資料來源,裡面包含了quartz用到的11張資料庫表;
applicationContextSchedulerContextKey: 是org.springframework.scheduling.quartz.SchedulerFactoryBean這個類中把spring上下 文以key/value的方式存放在了SchedulerContext中了,可以用applicationContextSchedulerContextKey所 定義的key得到對應spring 的ApplicationContext;
configLocation:用於指明quartz的配置檔案的位置
requestsRecovery
requestsRecovery屬性必須設定為 true,當Quartz服務被中止後,再次啟動或叢集中其他機器接手任務時會嘗試恢復執行之前未完成的所有任務。
執行Quartz叢集
在相同或不同的機器上執行com.sundoctor.quartz.cluster.example.test.MainTest進行測試,在本例中只是簡單列印一下日誌。
- package com.sundoctor.quartz.cluster.example.test;
- import org.springframework.context.ApplicationContext;
- import org.springframework.context.support.ClassPathXmlApplicationContext;
- public class MainTest {
- /**
- * @param args
- */
- public static void main(String[] args) {
- ApplicationContext springContext = new ClassPathXmlApplicationContext(new String[]{"classpath:applicationContext.xml","classpath:applicationContext-quartz.xml"});
- }
- }
Quartz 實際並不關心你是在相同的還是不同的機器上執行節點。當叢集是放置在不同的機器上時,通常稱之為水平叢集。節點是跑在同一臺機器是,稱之為垂直叢集。對於垂直叢集,存在著單點故障的問題。這對高可用性的應用來說是個壞訊息,因為一旦機器崩潰了,所有的節點也就被有效的終止了。
當你執行水平叢集時,時鐘應當要同步,以免出現離奇且不可預知的行為。假如時鐘沒能夠同步,Scheduler 例項將對其他節點的狀態產生混亂。有幾種簡單的方法來保證時鐘何持同步,而且也沒有理由不這麼做。最簡單的同步計算機時鐘的方式是使用某一個 Internet 時間伺服器(Internet Time Server ITS)。
沒什麼會阻止你在相同環境中使用叢集的和非叢集的 Quartz 應用。唯一要注意的是這兩個環境不要混用在相同的資料庫表。意思是非叢集環境不要使用與叢集應用相同的一套資料庫表;否則將得到希奇古怪的結果,叢集和非叢集的 Job 都會遇到問題。
假如你讓一個非叢集的 Quartz 應用與叢集節點並行著執行,設法使用 JobInitializationPlugin和 RAMJobStore。
相關文章
- Spring quartz 叢集模式的坑Springquartz模式
- Quartz - Spring整合Quartz實現叢集的定時任務quartzSpring
- springmvc+quartz叢集+sqlserverSpringMVCquartzSQLServer
- Spring Boot Quartz 分散式叢集任務排程實現Spring Bootquartz分散式
- quartz叢集增強版🎉quartz
- spring4.x 整合quartz2.x 叢集化配置專案例項Springquartz
- Quartz叢集增強版_01.叢集及缺火處理(ClusterMisfireHandler)quartz
- 在 Minecraft 中管理 Kubernetes 叢集Raft
- 在wildfly 21中搭建cluster叢集
- Quartz叢集增強版_00.How to use?(如何使用)quartz
- Quartz - Spring和Quartz的整合quartzSpring
- 在Linux中,如何進行叢集管理?Linux
- 教你在Kubernetes中快速部署ES叢集
- 在叢集環境中執行的Spring計劃排程任務 - Stack OverflowSpring
- 在Docker中搭建rabbit MQ叢集 (Mac + OrbStack)DockerMQMacORB
- 在Linux中,什麼是叢集,並且列出常見的叢集技術。Linux
- spring-quartz整合Springquartz
- SpringBoot2 使用Spring Session叢集Spring BootSession
- Spring Boot整合Redis叢集(Cluster模式)Spring BootRedis模式
- 在kubernetes上部署consul叢集
- 在 Azure 上部署 Kubernetes 叢集
- Quartz.net 3.x使用總結(二)——Db持久化和叢集quartz持久化
- Quartz叢集增強版_02.任務輪詢及最佳化❤️quartz
- Docker中建立Consul叢集Docker
- 在 Azure 中部署 Kubernetes 容器叢集
- Zookeeper叢集 + Kafka叢集Kafka
- Spring Boot系列22 Spring Websocket實現websocket叢集方案的DemoSpring BootWeb
- Spring Boot系列21 Spring Websocket實現websocket叢集方案討論Spring BootWeb
- 搭建zookeeper叢集(偽叢集)
- 使用Gardener在GoogleCloudPlatform上建立Kubernetes叢集GoCloudUDPPlatform
- 在滴滴雲上搭建 MongoDB 叢集 (一):MongoDB
- 在Ubuntu 18.04.1上安裝Hadoop叢集UbuntuHadoop
- 診斷叢集的潛在問題
- 容器化 | 在 KubeSphere 中部署 MySQL 叢集MySql
- 在 AWS EKS 上部署 EMQX MQTT 叢集MQQT
- 在Rainbond上部署高可用Apollo叢集AI
- Linux中Mysql的叢集搭建LinuxMySql
- Spring Boot 參考指南(Quartz Scheduler)Spring Bootquartz