定时调度
作为后端开发人员,我们总会遇到这样的业务场景:每周同步一批数据;每半个小时检查一遍服务器运行状况;每天早上八点给用户发送一份包含今日待办事项的邮件,等等。
这些场景中都离不开“定时器”,就像一个定好时间规则的闹钟,它会在指定时间触发,执行我们想要定义的调度任务。那么我们今天就来数一下,那些年我们用过的“定时调度”。
1. job (oracle)
从刚工作就一直使用oracle数据库,最早接触的定时任务就是oracle数据库的job。job有定时执行的功能,可以在指定的时间点或每天的某个时间点自行执行任务。 而且oracle重新启动后,job会继续运行,不用重新启动。
而且job的机制非常完备,可以查询相关的表或视图,查询job的定时规则和执行情况。缺点是作为oracle数据库层面的工具,自定义功能扩展,二次开发的难度比较大。
1.1 创建job
1.2 删除job
1.3 查询job
crontab (linux)
crond 是linux下用来周期性的执行某种任务或等待处理某些事件的一个守护进程,与windows下的计划任务类似,当安装完成操作系统后,默认会安装此服务 工具,并且会自动启动crond进程,crond进程每分钟会定期检查是否有要执行的任务,如果有要执行的任务,则自动执行该任务。
cron是服务名称,crond是后台进程,crontab则是定制好的计划任务表。大部分linux系统默认都安装了cron,可以检查一下。
crontab基本操作命令
crontab表达式格式
Timer和ScheduledExecutorService (java)
Timer是jdk中提供的一个定时器工具,使用的时候会在主线程之外起一个单独的线程执行指定的计划任务,可以指定执行一次或者反复执行多次。
//只执行一次public void schedule(TimerTask task, long delay);public void schedule(TimerTask task, Date time);//循环执行// 在循环执行类别中根据循环时间间隔又可以分为两类public void schedule(TimerTask task, long delay, long period) ;public void schedule(TimerTask task, Date firstTime, long period) ;public void scheduleAtFixedRate(TimerTask task, long delay, long period)public void scheduleAtFixedRate(TimerTask task, Date firstTime, long period)
TimerTask是一个实现了Runnable接口的抽象类,代表一个可以被Timer执行的任务。TimerTask类是一个抽象类,由Timer 安排为一次执行或重复执行的任务。它有一个抽象方法run()方法,该方法用于执行相应计时器任务要执行的操作。因此每一个具体的任务类都必须继承TimerTask,然后重写run()方法。 另外它还有两个非抽象的方法
当然,一般使用Timer的比较少,因为它的缺点比较明显:
单线程,当多个timer同时运行时,会等上一个执行完成,再执行下一个。
Timer线程是不会捕获异常的,如果TimerTask抛出的了未检查异常则会导致Timer线程终止。
所以一般使用ScheduledExecutorService替代Timer。 ScheduledExecutorService:也是jdk自带的一个基于线程池设计的定时任务类。其每个调度任务都会分配到线程池中的一个线程执行,所以其任务是并发执行的,互不影响。
SpringTask (spring)
Timer和ScheduledExecutorService都是属于jdk层面上实现定时调度的类,功能还不足以让我们满意,那么现在介绍一个比较完善的定时调度工具 - SpringTask,是Spring提供的,支持注解和配置文件形式,支持crontab表达式,使用简单但功能强大。我个人非常喜欢SpringTask,仅仅是因为支持crontab表达式。
在springboot里面使用方式非常简单:
启动类添加开启定时调度的注解 @EnableScheduling
在需要定时执行的方法上,增加注解 @Scheduled(cron =“crontab表达式”)
默认的简单的使用步骤只有以上两步,但是SpringTask的默认使用方式也有一些不足:
默认线程池的poolsize为1,可以理解为Timer类似的单线程模式。
无法动态修改crontab表达式,修改完只能重新部署后,才能生效。
问题1的解决方式,可以通过自定义 TaskExecutor来修改当前的线程池。问题2,则可以直接使用 threadPoolTaskScheduler类实现自定义的定时调度规则。
附解决两个问题的源码 TaskTimer.class
@Componentpublic class TaskTimer { @Autowired private ThreadPoolTaskScheduler threadPoolTaskScheduler; @Autowired private TaskRepo taskRepo; /** * ***定时引擎*** * * 实例化一个线程池任务调度类 * 默认 ThreadPoolTaskScheduler 的 poolSize 为1,类似于newSingleThreadExecutor 单线程模式,只能执行完一个调度,再执行其他调度 * 需要自定义扩展poolSize,允许一定程度的 多线程并行场景 * * @return */ @Bean public ThreadPoolTaskScheduler threadPoolTaskScheduler() { ThreadPoolTaskScheduler threadPoolTaskScheduler = new ThreadPoolTaskScheduler(); threadPoolTaskScheduler.setPoolSize(100); threadPoolTaskScheduler.setThreadNamePrefix("Thread - "); threadPoolTaskScheduler.setWaitForTasksToCompleteOnShutdown(true); threadPoolTaskScheduler.setAwaitTerminationSeconds(60); return threadPoolTaskScheduler; } /** * 启动定时调度 * @param taskCode * @param cron * @param runnable * @return */ public boolean start(String taskCode, String cron,Runnable runnable){ ScheduledFuture> currentFuture=taskRepo.findTask(taskCode); //已存在的调度,无法再创建 if(currentFuture!=null){ throw new RuntimeException("调度""+taskCode+""已存在,无法再创建"); } //创建新的调度,并加入 taskMap currentFuture = threadPoolTaskScheduler.schedule(runnable,new CronTrigger(cron)); if (currentFuture!=null){ this.taskRepo.addTask(taskCode,currentFuture); return true; } throw new RuntimeException("任务启动失败!!!"); } /** * 暂停定时调度 * @param taskCode * @return */ public boolean stop(String taskCode) { //taskId 不存在的,无法停止,只能修改 ScheduledFuture> currentFuture=this.taskRepo.findTask(taskCode); if(currentFuture!=null){ return currentFuture.cancel(true); } return true; } /** * 删除定时调度 * @param taskCode * @return */ public boolean remove(String taskCode){ ScheduledFuture> currentFuture=this.taskRepo.findTask(taskCode); if(currentFuture!=null){ currentFuture.cancel(true); taskRepo.removeTask(taskCode); return true; } return false; } /** * 修改定时调度 * @param taskCode * @param cron * @param runnable * @return */ public boolean update(String taskCode,String cron,Runnable runnable){ ScheduledFuture> currentFuture=this.taskRepo.findTask(taskCode); //已存在的定时调度,先停止,再新增,并更新 新的ScheduledFuture if(currentFuture!=null) { currentFuture.cancel(true); } currentFuture= threadPoolTaskScheduler.schedule(runnable,new CronTrigger(cron)); if(currentFuture!=null){ this.taskRepo.addTask(taskCode,currentFuture); return true; } return false;
Taskctl Web版 (其他产品)
Taskctl Web应用版是一个基于 Java 编写的10万级免费ETL批量调度工具,为在 Java 应用程序中进行作业调度提供了简单却强大的机制。它是一个功能强大、十分成熟的轻量级产品,还支持负载均衡,实现分布式调度。
对于Taskctl Web版的安装因为Web应用端基于java开发,因此你需要安装java1.8及以上版本到应用程序该如何部署。对于这样一个轻量级的批量作业调度产品,本篇文章就不附上它的使用说明书了。
可以参阅:
10万级ETL批量作业调度工具Taskctl-Web应用版