单点定时任务

JDK原生

自从JDK1.5之后，提供了​​ScheduledExecutorService​​​代替​​TimerTask​​来执行定时任务，提供了不错的可靠性。

public class SomeScheduledExecutorService {
    public static void main(String[] args) {
        // 创建任务队列，共 10 个线程
        ScheduledExecutorService scheduledExecutorService =
                Executors.newScheduledThreadPool(10);
        // 执行任务: 1秒 后开始执行，每 30秒 执行一次
        scheduledExecutorService.scheduleAtFixedRate(() -> {
            System.out.println("执行任务：" + new Date());
        }, 10, 30, TimeUnit.SECONDS);
    }
}
复制代码

Spring Task

​​Spring Framework​​​自带定时任务，提供了​​cron表达式​​​来实现丰富定时任务配置。新手推荐使用​​https://cron.qqe2.com/​​​这个网站来匹配你的​​cron表达式​​。

@Configuration
@EnableScheduling
public class SomeJob {
    private static final Logger LOGGER = LoggerFactory.getLogger(SomeJob.class);

    /**
     * 每分钟执行一次（例：18:01:00，18:02:00）
     * 秒 分钟 小时 日 月 星期 年
     */
    @Scheduled(cron = "0 0/1 * * * ? *")
    public void someTask() {
       //...
    }
}
复制代码

单点的定时服务在目前​​微服务​​​的大环境下，应用场景越来越局限，所以尝鲜一下​​分布式定时任务​​吧。

关于该功能的使用，DD的Spring Boot教程中也有介绍，感兴趣的小伙伴可以通过这个链接查看：https://blog.didispace.com/spring-boot-learning-2-7-1/

基于 Redis 实现

相较于之前两种方式，这种基于Redis的实现可以通过多点来增加定时任务，多点消费。但是要做好防范重复消费的准备。

通过ZSet的方式

将定时任务存放到​​ZSet​​​集合中，并且将​​过期时间​​​存储到​​ZSet​​​的​​Score​​​字段中，然后通过一个循环来判断​​当前时间​​内是否有需要执行的定时任务，如果有则进行执行。

具体实现代码如下：

/**
 * Description: 基于Redis的ZSet的定时任务 .<br>
 *
 * @author mxy
 * @Date 2020/8/25 11:54
 */
@Configuration
@EnableScheduling
public class RedisJob {
    public static final String JOB_KEY = "redis.job.task";
    private static final Logger LOGGER = LoggerFactory.getLogger(RedisJob.class);
    @Autowired private StringRedisTemplate stringRedisTemplate;

    /**
     * 添加任务.
     *
     * @param task
     */
    public void addTask(String task, Instant instant) {
        stringRedisTemplate.opsForZSet().add(JOB_KEY, task, instant.getEpochSecond());
    }

    /**
     * 定时任务队列消费
     * 每分钟消费一次（可以缩短间隔到1s）
     */
    @Scheduled(cron = "0 0/1 * * * ? *")
    public void doDelayQueue() {
        long nowSecond = Instant.now().getEpochSecond();
        // 查询当前时间的所有任务
        Set<String> strings = stringRedisTemplate.opsForZSet().range(JOB_KEY, 0, nowSecond);
        for (String task : strings) {
            // 开始消费 task
            LOGGER.info("执行任务:{}", task);
        }
        // 删除已经执行的任务
        stringRedisTemplate.opsForZSet().remove(JOB_KEY, 0, nowSecond);
    }
}
复制代码

适用场景如下：

  • 订单下单之后​​15分钟​​后，用户如果没有付钱，系统需要​​自动取消订单​​。
  • 红包​​24小时​​未被查收，需要延迟执​​退还​​业务；
  • 某个​​活动​​指定在某个时间内​​生效​​&​​失效​​；

优势是：

  1. 省去了​​MySQL​​的查询操作，而使用性能更高的​​Redis​​做为代替；
  2. 不会因为​​停机​​等原因，遗漏要执行的任务；

键空间通知的方式

我们可以通过​​Redis​​​的键空间通知来实现定时任务，它的实现思路是给所有的定时任务设置一个​​过期时间​​​，等到了过期之后，我们通过​​订阅​​过期消息就能感知到定时任务需要被执行了，此时我们执行定时任务即可。

默认情况下​​Redis​​​是不开启​​键空间通知​​​的，需要我们通过​​config set notify-keyspace-events Ex​​的命令手动开启。

开启之后定时任务的代码如下:

自定义监听器
/**
  * 自定义监听器.
  */
public class KeyExpiredListener extends KeyExpirationEventMessageListener {
    public KeyExpiredListener(RedisMessageListenerContainer listenerContainer) {
        super(listenerContainer);
    }

    @Override
    public void onMessage(Message message, byte[] pattern) {
        // channel
        String channel = new String(message.getChannel(), StandardCharsets.UTF_8);
        // 过期的key
        String key = new String(message.getBody(), StandardCharsets.UTF_8);
        // todo 你的处理
    }
}
复制代码
设置该监听器
/**
 * Description: 通过订阅Redis的过期通知来实现定时任务 .<br>
 *
 * @author mxy
 * @Date 2020/8/25 12:07
 */
@Configuration
public class RedisExJob {
    @Autowired private RedisConnectionFactory redisConnectionFactory;
    @Bean
    public RedisMessageListenerContainer redisMessageListenerContainer() {
        RedisMessageListenerContainer redisMessageListenerContainer = new RedisMessageListenerContainer();
        redisMessageListenerContainer.setConnectionFactory(redisConnectionFactory);
        return redisMessageListenerContainer;
    }

    @Bean
    public KeyExpiredListener keyExpiredListener() {
        return new KeyExpiredListener(this.redisMessageListenerContainer());
    }
}
复制代码

​​Spring​​会监听符合以下格式的Redis消息

private static final Topic TOPIC_ALL_KEYEVENTS = new PatternTopic("__keyevent@*");
复制代码

基于​​Redis​​​的定时任务能够适用的场景也比较有限，但实现上相对简单，但对于功能幂等有很大要求。从使用场景上来说，更应该叫做​​延时任务​​。

场景举例:

  • 订单下单之后​​15分钟​​后，用户如果没有付钱，系统需要​​自动取消订单​​。
  • 红包​​24小时​​未被查收，需要延迟执​​退还​​业务；

优劣势是：

  1. 被动触发，对于服务的资源消耗更小；
  2. Redis的​​Pub/Sub​​不可靠，没有ACK机制等，但是一般情况可以容忍；
  3. 键空间通知功能会耗费一些CPU

分布式定时任务

引入分布式定时任务组件or中间件

将定时任务作为单独的服务，遏制了​​重复消费​​，独立的服务也有利于扩展和维护。

quartz

依赖于​​MySQL​​，使用相对简单，可多节点部署，通过竞争数据库锁来保证只有一个节点执行任务。没有图形化管理页面，使用相对麻烦。

elastic-job-lite

依赖于​​Zookeeper​​，通过zookeeper的注册与发现，可以动态的添加服务器。

  • 多种作业模式
  • 失效转移
  • 运行状态收集
  • 多线程处理数据
  • 幂等性
  • 容错处理
  • 支持spring命名空间
  • 有图形化管理页面

关于该框架的实用，DD在博客也连载过，通过这个链接可以直接看详细教程：https://blog.didispace.com/tags/Elastic-Job/

几种主流的分布式定时任务，你知道哪些？_大数据

LTS

依赖于​​Zookeeper​​，集群部署,可以动态的添加服务器。可以手动增加定时任务，启动和暂停任务。

  • 业务日志记录器
  • SPI扩展支持
  • 故障转移
  • 节点监控
  • 多样化任务执行结果支持
  • FailStore容错
  • 动态扩容
  • 对spring相对友好
  • 有监控和管理图形化界面

xxl-job

国产，依赖于​​MySQL​​,基于竞争数据库锁保证只有一个节点执行任务，支持水平扩容。可以手动增加定时任务，启动和暂停任务。

  • 弹性扩容
  • 分片广播
  • 故障转移
  • Rolling实时日志
  • GLUE（支持在线编辑代码，免发布）
  • 任务进度监控
  • 任务依赖
  • 数据加密
  • 邮件报警
  • 运行报表
  • 优雅停机
  • 国际化（中文友好）

总结

​​微服务​​​下，推荐使用​​xxl-job​​这一类组件服务将定时任务合理有效的管理起来。而单点的定时任务有其局限性，适用于规模较小、对未来扩展要求不高的服务。

相对而言，基于​​spring task​​​的定时任务最简单快捷，而​​xxl-job​​的难度主要体现在集成和调试上。无论是什么样的定时任务，你都需要确保：

  • 任务不会因为集群部署而被多次执行。
  • 任务发生异常得到有效的处理
  • 任务的处理过慢导致大量积压
  • 任务应该在预期的时间点执行

中间件可以将服务解耦，但增加了复杂度

作者：襄垣

------

我们创建了一个高质量的技术交流群，与优秀的人在一起，自己也会优秀起来，赶紧​​点击加群​​​，享受一起成长的快乐。另外，如果你最近想跳槽的话，年前我花了2周时间收集了一波大厂面经，节后准备跳槽的可以​​点击这里领取​​！

​

··································

你好，我是程序猿DD，10年开发老司机、阿里云MVP、腾讯云TVP、出过书、创过业、国企4年互联网6年。10年前毕业加入宇宙行，工资不高、也不算太忙，业余坚持研究技术和做自己想做的东西。4年后离开国企，加入永辉互联网板块的创业团队，从开发、到架构、到合伙人。一路过来，给我最深的感受就是一定要不断学习并关注前沿。只要你能坚持下来，多思考、少抱怨、勤动手，就很容易实现弯道超车！所以，不要问我现在干什么是否来得及。如果你看好一个事情，一定是坚持了才能看到希望，而不是看到希望才去坚持。相信我，只要坚持下来，你一定比现在更好！如果你还没什么方向，可以先关注我，这里会经常分享一些前沿资讯，帮你积累弯道超车的资本。

​