目录
1.框架使用背景
单体应用中要实现任务调度时很简单,不管是JDK的定时也好还是spring的定时任务也好都可以实现。但是随着服务架构的升级,在集群架构中,一个服务由多个实例,那么这时候就需要一个任务调度框架保证某个定时任务只会在多个实例服务中的一个里得到执行,不会执行多次。
那么XXL-JOB通过执行器实现“协同分配式”运行任务,充分发挥集群优势,负载各节点均衡。同解决方案框架quartz底层以“抢占式”获取DB锁并由抢占成功节点负责运行任务,会导致节点负载悬殊非常大。
2.执行器的路由策略
服务集群部署后执行器也会形成HA集群,针对不同的情况我们可以通过执行器路由策略配置。
执行器集群部署时提供丰富的路由策略,包括:第一个、最后一个、轮询、随机、一致性HASH、最不经常使用、最近最久未使用、故障转移、忙碌转移等;
第一个(最后一个)
指定集群中的某一个特定的执行器实例执行。
轮询
类似于负载均衡,每次选择一个执行器执行。
随机
随机选择一个执行器执行。
分片广播
执行器集群部署时,任务路由策略选择”分片广播”情况下,一次任务调度将会广播触发对应集群中所有执行器执行一次任务,同时系统自动传递分片参数;这种策略下,以执行器为维度进行分片,支持动态扩容执行器集群从而动态增加分片数量,协同进行业务处理;在进行大数据量业务操作时可显著提升任务处理能力和速度。
假如我们现在总数据量有 3 万条数据,任务进行触发了,但是在线的执行器可能是 3 台。当触发的时候会分别向 0、1、2 进行发送请求。这时候 0 接受到的参数就是03,2 就是 13,最后一个是 23。
在拿到这两个数据后,对于业务数据就可以使用类似分页的思路实现每个节点只处理部分数据,支持动态扩容和数据分片处理。
分片参数的获取
// 当前分片序号(从0开始),执行器集群列表中当前执行器的序号
int shardIndex = XxlJobHelper.getShardIndex();
// 总分片数,执行器集群的总机器数量;
int shardTotal = XxlJobHelper.getShardTotal();
分片任务使用场景
例如一个任务逻辑要处理得数据又10w,使用分片广播的策略时,假设集群又10个执行器,那么分片执行时每台机器只需要处理1w条数据,耗时降低10倍;
故障转移
按照顺序依次进行心跳检测,第一个心跳检测成功的机器选定为目标执行器并发起调度。
3.阻塞处理策略
当任务执行时间较长,调度频率过于密集时,执行器再次被调度时可能因为上次任务还没执行完而出现来不及处理本次调度的情况。
阻塞处理策略包括:单机串行(默认)、丢弃后续调度、覆盖之前调度;
单机串行(默认)
会把请求入队列,等前面的执行完了之后,挨个把所有的触发的任务全都执行掉。
丢弃后续的调度
如果当前已经有正在执行的任务,直接把后面的标记失败,不进行后面的执行了。
覆盖之前调度
它发现前面队列里面的数据或者任务执行的情况下,把队列清空,把清空的数据全都标记失败,然后把执行的 JOB 也标记失败,让自己来运行。
4.使用xxl-job开发定时任务
maven依赖
<!-- http://repo1.maven.org/maven2/com/xuxueli/xxl-job-core/ -->
<dependency>
<groupId>com.xuxueli</groupId>
<artifactId>xxl-job-core</artifactId>
<version>${最新稳定版本}</version>
</dependency>
配置执行器
在xxl-job集群中,凡是有job的项目中都要配置一个执行器注册到调度中心里。
@Configuration
public class XxlJobConfig {
private Logger logger = LoggerFactory.getLogger(XxlJobConfig.class);
/**
* 调度中心部署跟地址,可以为空,为空时关闭自动注册。
* 如调度中心集群部署存在多个地址则用逗号分隔。执行器将会使用该地址进行"执行器心跳注册"和"任务结果回调";
*/
@Value("${xxl.job.admin.addresses}")
private String adminAddresses;
//执行器通讯TOKEN [选填]:非空时启用
@Value("${xxl.job.accessToken}")
private String accessToken;
/**
* 执行器AppName [选填]:为空则关闭自动注册
* 执行器心跳注册分组依据;
*/
@Value("${xxl.job.executor.appname}")
private String appname;
/**
* 执行器注册 [选填]:优先使用该配置作为注册地址,为空时使用内嵌服务 ”IP:PORT“ 作为注册地址。
*从而更灵活的支持容器类型执行器动态IP和动态映射端口问题。
*/
@Value("${xxl.job.executor.address}")
private String address;
//执行器IP:默认为空表示自动获取IP,多网卡时可手动设置指定IP
@Value("${xxl.job.executor.ip}")
private String ip;
//执行器端口号:默认端口为9999,单机部署多个执行器时,注意要配置不同执行器端口;
@Value("${xxl.job.executor.port}")
private int port;
//执行器运行日志文件存储磁盘路径
@Value("${xxl.job.executor.logpath}")
private String logPath;
//执行器日志文件保存天数
@Value("${xxl.job.executor.logretentiondays}")
private int logRetentionDays;
@Bean
public XxlJobSpringExecutor xxlJobExecutor() {
logger.info(">>>>>>>>>>> xxl-job config init.");
XxlJobSpringExecutor xxlJobSpringExecutor = new XxlJobSpringExecutor();
xxlJobSpringExecutor.setAdminAddresses(adminAddresses);
xxlJobSpringExecutor.setAppname(appname);
xxlJobSpringExecutor.setAddress(address);
xxlJobSpringExecutor.setIp(ip);
xxlJobSpringExecutor.setPort(port);
xxlJobSpringExecutor.setAccessToken(accessToken);
xxlJobSpringExecutor.setLogPath(logPath);
xxlJobSpringExecutor.setLogRetentionDays(logRetentionDays);
return xxlJobSpringExecutor;
}
}
开发一个定时任务(此方式已经过时)
@JobHandler(value = "DemoJobHandler")这里的value值对应下图 调度中心配置界面中创建任务时的 任务DemoJobHandler
开发一个简单的任务( Bean模式-方法形式)
- 为Job方法添加注解 "@XxlJob(value="自定义jobhandler名称", init = "JobHandler初始化方法", destroy = "JobHandler销毁方法")",注解value值对应的是调度中心新建任务的JobHandler属性的值。
- 默认任务结果为 "成功" 状态,不需要主动设置;如有诉求,比如设置任务结果为失败,可以通过 "XxlJobHelper.handleFail/handleSuccess" 自主设置任务结果;
@Component
public class SampleXxlJob {
private static Logger logger = LoggerFactory.getLogger(SampleXxlJob.class);
/**
* 1、简单任务示例(Bean模式 方法形式)
*/
@XxlJob("demoJobHandler")
public void demoJobHandler() throws Exception {
logger.info("XXL-JOB, Hello World.");
XxlJobHelper.log("demoJobHandler 执行完成");
}
}
XxlJobHelper日志使用
@Component
public class SampleXxlJob {
private static Logger logger = LoggerFactory.getLogger(SampleXxlJob.class);
@XxlJob("excuteJob")
public void excuteJob() {
XxlJobHelper.log("========》xxl-job excuteJob 【start】");
String param = XxlJobHelper.getJobParam();
XxlJobHelper.log("========》xxl-job excuteJob 执行器入参: {}",param);
try {
if (StringUtils.isBlank(param)) {
//业务代码
}
} catch (Exception e) {
logger.error("【定时任务 excuteJob 执行异常】:{}", e);
//任务调度执行失败
XxlJobHelper.handleFail(e.getMessage());
}
XxlJobHelper.log("========》 xxl-job excuteJob 【end】");
}
}
开发分片模式任务
分片任务的开发方式与普通任务一致,不同之处在于获取集群参数用于业务逻辑的分片处理。
@Component
public class SampleXxlJob {
private static Logger logger = LoggerFactory.getLogger(SampleXxlJob.class);
/**
* 2、分片广播任务
*/
@XxlJob("shardingJobHandler")
public void shardingJobHandler() throws Exception {
// 分片参数
int shardIndex = XxlJobHelper.getShardIndex();
int shardTotal = XxlJobHelper.getShardTotal();
XxlJobHelper.log("分片参数:当前分片序号 = {}, 总分片数 = {}", shardIndex, shardTotal);
// 业务逻辑
for (int i = 0; i < shardTotal; i++) {
if (i == shardIndex) {
XxlJobHelper.log("第 {} 片, 命中分片开始处理", i);
} else {
XxlJobHelper.log("第 {} 片, 忽略", i);
}
}
}
}