python使用cron cron python

crontab expression

1. cron表达式格式：

{秒数} {分钟} {小时} {日期} {月份} {星期} {年份(可为空)}
2. cron表达式各占位符解释：

{秒数} ==> 允许值范围: 0~59 ,不允许为空值，若值不合法，调度器将抛出SchedulerException异常

"*" 代表每隔1秒钟触发；

"," 代表在指定的秒数触发，比如"0,15,45"代表0秒、15秒和45秒时触发任务

"-" 代表在指定的范围内触发，比如"25-45"代表从25秒开始触发到45秒结束触发，每隔1秒触发1次

"/" 代表触发步进(step)，"/"前面的值代表初始值("*"等同"0")，后面的值代表偏移量，比如"0/20"或者"*/20"代表从0秒钟开始，每隔20秒钟触发1次，即0秒触发1次，20秒触发1次，40秒触发1次；"5/20"代表5秒触发1次，25秒触发1次，45秒触发1次；"10-45/20"代表在[10,45]内步进20秒命中的时间点触发，即10秒触发1次，30秒触发1次

 

{分钟} ==> 允许值范围: 0~59 ,不允许为空值，若值不合法，调度器将抛出SchedulerException异常

"*" 代表每隔1分钟触发；

"," 代表在指定的分钟触发，比如"10,20,40"代表10分钟、20分钟和40分钟时触发任务

"-" 代表在指定的范围内触发，比如"5-30"代表从5分钟开始触发到30分钟结束触 发，每隔1分钟触发

"/" 代表触发步进(step)，"/"前面的值代表初始值("*"等同"0")，后面的值代表偏移量，比如"0/25"或者"*/25"代表从0分钟开始，每隔25分钟触发1次，即0分钟触发1次，第25分钟触发1次，第50分钟触发1次；"5/25"代表5分钟触发1次，30分钟触发1次，55分钟触发1次；"10-45/20"代表在[10,45]内步进20分钟命中的时间点触发，即10分钟触发1次，30分钟触发1次

 

{小时} ==> 允许值范围: 0~23 ,不允许为空值，若值不合法，调度器将抛出SchedulerException异常

"*" 代表每隔1小时触发；

"," 代表在指定的时间点触发，比如"10,20,23"代表10点钟、20点钟和23点触发任务

"-" 代表在指定的时间段内触发，比如"20-23"代表从20点开始触发到23点结束触发，每隔1小时触发

"/" 代表触发步进(step)，"/"前面的值代表初始值("*"等同"0")，后面的值代表偏移量，比如"0/1"或者"*/1"代表从0点开始触发，每隔1小时触发1次；"1/2"代表从1点开始触发，以后每隔2小时触发一次；"19-20/2"表达式将只在19点触发

 

{日期} ==> 允许值范围: 1~31 ,不允许为空值，若值不合法，调度器将抛出SchedulerException异常

"*" 代表每天触发；

"?" 与{星期}互斥，即意味着若明确指定{星期}触发，则表示{日期}无意义，以免引起 冲突和混乱

"," 代表在指定的日期触发，比如"1,10,20"代表1号、10号和20号这3天触发

"-" 代表在指定的日期范围内触发，比如"10-15"代表从10号开始触发到15号结束触发，每隔1天触发

"/" 代表触发步进(step)，"/"前面的值代表初始值("*"等同"1")，后面的值代表偏移量，比如"1/5"或者"*/5"代表从1号开始触发，每隔5天触发1次；"10/5"代表从10号开始触发，以后每隔5天触发一次；"1-10/2"表达式意味着在[1,10]范围内，每隔2天触发，即1号，3号，5号，7号，9号触发

"L" 如果{日期}占位符如果是"L"，即意味着当月的最后一天触发

"W "意味着在本月内离当天最近的工作日触发，所谓最近工作日，即当天到工作日的前后最短距离，如果当天即为工作日，则距离为0；所谓本月内的说法，就是不能跨月取到最近工作日，即使前/后月份的最后一天/第一天确实满足最近工作日；因此，"LW"则意味着本月的最后一个工作日触发，"W"强烈依赖{月份}

"C" 根据日历触发，由于使用较少，暂时不做解释

 

{月份} ==> 允许值范围: 1~12 (JAN-DEC),不允许为空值，若值不合法，调度器将抛出SchedulerException异常

"*" 代表每个月都触发；

"," 代表在指定的月份触发，比如"1,6,12"代表1月份、6月份和12月份触发任务

"-" 代表在指定的月份范围内触发，比如"1-6"代表从1月份开始触发到6月份结束触发，每隔1个月触发

"/" 代表触发步进(step)，"/"前面的值代表初始值("*"等同"1")，后面的值代表偏移量，比如"1/2"或者"*/2"代表从1月份开始触发，每隔2个月触发1次；"6/6"代表从6月份开始触发，以后每隔6个月触发一次；"1-6/12"表达式意味着每年1月份触发

 

{星期} ==> 允许值范围: 1~7 (SUN-SAT),1代表星期天(一星期的第一天)，以此类推，7代表星期六(一星期的最后一天)，不允许为空值，若值不合法，调度器将抛出SchedulerException异常

"*" 代表每星期都触发；

"?" 与{日期}互斥，即意味着若明确指定{日期}触发，则表示{星期}无意义，以免引起冲突和混乱

"," 代表在指定的星期约定触发，比如"1,3,5"代表星期天、星期二和星期四触发

"-" 代表在指定的星期范围内触发，比如"2-4"代表从星期一开始触发到星期三结束触发，每隔1天触发

"/" 代表触发步进(step)，"/"前面的值代表初始值("*"等同"1")，后面的值代表偏移量，比如"1/3"或者"*/3"代表从星期天开始触发，每隔3天触发1次；"1-5/2"表达式意味着在[1,5]范围内，每隔2天触发，即星期天、星期二、星期四触发

"L" 如果{星期}占位符如果是"L"，即意味着星期的的最后一天触发，即星期六触发，L= 7或者 L = SAT，因此，"5L"意味着一个月的最后一个星期四触发

"#" 用来指定具体的周数，"#"前面代表星期，"#"后面代表本月第几周，比如"2#2"表示本月第二周的星期一，"5#3"表示本月第三周的星期四，因此，"5L"这种形式只不过是"#"的特殊形式而已

"C" 根据日历触发，由于使用较少，暂时不做解释

 

{年份} ==> 允许值范围: 1970~2099 ,允许为空，若值不合法，调度器将抛出SchedulerException异常

"*"代表每年都触发；

","代表在指定的年份才触发，比如"2011,2012,2013"代表2011年、2012年和2013年触发任务

"-"代表在指定的年份范围内触发，比如"2011-2020"代表从2011年开始触发到2020年结束触发，每隔1年触发

"/"代表触发步进(step)，"/"前面的值代表初始值("*"等同"1970")，后面的值代表偏移量，比如"2011/2"或者"*/2"代表从2011年开始触发，每隔2年触发1次

 

注意：除了{日期}和{星期}可以使用"?"来实现互斥，表达无意义的信息之外，其他占位符都要具有具体的时间含义，且依赖关系为：年->月->日期(星期)->小时->分钟->秒数

 
 
3. cron表达式的强大魅力在于灵活的横向和纵向组合以及简单的语法，用cron表达式几乎可以写出任何你想要触发的时间点

经典案例：

"30 * * * * ?" 每半分钟触发任务

"30 10 * * * ?" 每小时的10分30秒触发任务

"30 10 1 * * ?" 每天1点10分30秒触发任务

"30 10 1 20 * ?" 每月20号1点10分30秒触发任务

"30 10 1 20 10 ? *" 每年10月20号1点10分30秒触发任务

"30 10 1 20 10 ? 2011" 2011年10月20号1点10分30秒触发任务

"30 10 1 ? 10 * 2011" 2011年10月每天1点10分30秒触发任务

"30 10 1 ? 10 SUN 2011" 2011年10月每周日1点10分30秒触发任务

"15,30,45 * * * * ?" 每15秒，30秒，45秒时触发任务

"15-45 * * * * ?" 15到45秒内，每秒都触发任务

"15/5 * * * * ?" 每分钟的每15秒开始触发，每隔5秒触发一次

"15-30/5 * * * * ?" 每分钟的15秒到30秒之间开始触发，每隔5秒触发一次

"0 0/3 * * * ?" 每小时的第0分0秒开始，每三分钟触发一次

"0 15 10 ? * MON-FRI" 星期一到星期五的10点15分0秒触发任务

"0 15 10 L * ?" 每个月最后一天的10点15分0秒触发任务

"0 15 10 LW * ?" 每个月最后一个工作日的10点15分0秒触发任务

"0 15 10 ? * 5L" 每个月最后一个星期四的10点15分0秒触发任务

"0 15 10 ? * 5#3" 每个月第三周的星期四的10点15分0秒触发任务

 

定时任务框架APScheduler

官方文档：https://apscheduler.readthedocs.io/en/v2.1.2/cronschedule.html   

APScheduler官方文档翻译： https://www.jianshu.com/p/4f5305e220f0

APScheduler简介

APScheduler基于Quartz的一个Python定时任务框架，实现了Quartz的所有功能，使用起来十分方便。提供了基于日期、固定时间间隔以及crontab类型的任务，并且可以持久化任务。基于这些功能，我们可以很方便的实现一个python定时任务系统。

安装

利用pip进行安装

pip install apscheduler

源码安装（https://pypi.python.org/pypi/APScheduler/）

python setup.py install

APScheduler有四种组成部分：

触发器(trigger)包含调度逻辑，每一个作业有它自己的触发器，用于决定接下来哪一个作业会运行。除了他们自己初始配置意外，触发器完全是无状态的。

作业存储(job store)存储被调度的作业，默认的作业存储是简单地把作业保存在内存中，其他的作业存储是将作业保存在数据库中。一个作业的数据讲在保存在持久化作业存储时被序列化，并在加载时被反序列化。调度器不能分享同一个作业存储。

执行器(executor)处理作业的运行，他们通常通过在作业中提交制定的可调用对象到一个线程或者进城池来进行。当作业完成时，执行器将会通知调度器。

调度器(scheduler)是其他的组成部分。你通常在应用只有一个调度器，应用的开发者通常不会直接处理作业存储、调度器和触发器，相反，调度器提供了处理这些的合适的接口。配置作业存储和执行器可以在调度器中完成，例如添加、修改和移除作业。　

简单应用：

import time
from apscheduler.schedulers.blocking import BlockingScheduler
 
def my_job():
    print time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(time.time()))
 
sched = BlockingScheduler()
sched.add_job(my_job, 'interval', seconds=5)
sched.start()

上面的例子表示每隔5s执行一次my_job函数，输出当前时间信息

操作作业

1. 添加作业

上面是通过add_job()来添加作业，另外还有一种方式是通过scheduled_job()修饰器来修饰函数

import time
from apscheduler.schedulers.blocking import BlockingScheduler
 
sched = BlockingScheduler()
 
@sched.scheduled_job('interval', seconds=5)
def my_job():
    print time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(time.time()))
 
sched.start()

2. 移除作业

job = scheduler.add_job(myfunc, 'interval', minutes=2)
job.remove()
#如果有多个任务序列的话可以给每个任务设置ID号，可以根据ID号选择清除对象，且remove放到start前才有效
sched.add_job(myfunc, 'interval', minutes=2, id='my_job_id')
sched.remove_job('my_job_id')

3. 暂停和恢复作业

 暂停作业:

apsched.job.Job.pause()
apsched.schedulers.base.BaseScheduler.pause_job()

 恢复作业:

apsched.job.Job.resume()
apsched.schedulers.base.BaseScheduler.resume_job()

4. 获得job列表

 获得调度作业的列表，可以使用get_jobs()来完成，它会返回所有的job实例。或者使用print_jobs()来输出所有格式化的作业列表。也可以利用get_job(任务ID)获取指定任务的作业列表

job = sched.add_job(my_job, 'interval', seconds=2 ,id='123')
print sched.get_job(job_id='123')
print sched.get_jobs()

 

5. 关闭调度器

 默认情况下调度器会等待所有正在运行的作业完成后，关闭所有的调度器和作业存储。如果你不想等待，可以将wait选项设置为False。

sched.shutdown()
sched.shutdown(wait=False)

 作业运行的控制（trigger）

add_job的第二个参数是trigger，它管理着作业的调度方式。它可以为date, interval或者cron。对于不同的trigger，对应的参数也相同。

(1). cron定时调度（某一定时时刻执行）

(int|str) 表示参数既可以是int类型，也可以是str类型
(datetime | str) 表示参数既可以是datetime类型，也可以是str类型
 
year (int|str) – 4-digit year -（表示四位数的年份，如2008年）
month (int|str) – month (1-12) -（表示取值范围为1-12月）
day (int|str) – day of the (1-31) -（表示取值范围为1-31日）
week (int|str) – ISO week (1-53) -（格里历2006年12月31日可以写成2006年-W52-7（扩展形式）或2006W527（紧凑形式））
day_of_week (int|str) – number or name of weekday (0-6 or mon,tue,wed,thu,fri,sat,sun) - （表示一周中的第几天，既可以用0-6表示也可以用其英语缩写表示）
hour (int|str) – hour (0-23) - （表示取值范围为0-23时）
minute (int|str) – minute (0-59) - （表示取值范围为0-59分）
second (int|str) – second (0-59) - （表示取值范围为0-59秒）
start_date (datetime|str) – earliest possible date/time to trigger on (inclusive) - （表示开始时间）
end_date (datetime|str) – latest possible date/time to trigger on (inclusive) - （表示结束时间）
timezone (datetime.tzinfo|str) – time zone to use for the date/time calculations (defaults to scheduler timezone) -（表示时区取值）

参数的取值格式：

例子：

#表示2017年3月22日17时19分07秒执行该程序
sched.add_job(my_job, 'cron', year=2017,month = 03,day = 22,hour = 17,minute = 19,second = 07)
 
#表示任务在6,7,8,11,12月份的第三个星期五的00:00,01:00,02:00,03:00 执行该程序
sched.add_job(my_job, 'cron', month='6-8,11-12', day='3rd fri', hour='0-3')
 
#表示从星期一到星期五5:30（AM）直到2014-05-30 00:00:00
sched.add_job(my_job(), 'cron', day_of_week='mon-fri', hour=5, minute=30,end_date='2014-05-30')
 
#表示每5秒执行该程序一次，相当于interval 间隔调度中seconds = 5
sched.add_job(my_job, 'cron',second = '*/5')

(2). interval 间隔调度（每隔多久执行）

weeks (int) – number of weeks to wait
days (int) – number of days to wait
hours (int) – number of hours to wait
minutes (int) – number of minutes to wait
seconds (int) – number of seconds to wait
start_date (datetime|str) – starting point for the interval calculation
end_date (datetime|str) – latest possible date/time to trigger on
timezone (datetime.tzinfo|str) – time zone to use for the date/time calculations

例子：

#表示每隔3天17时19分07秒执行一次任务
sched.add_job(my_job, 'interval',days  = 03,hours = 17,minutes = 19,seconds = 07)

(3). date 定时调度（作业只会执行一次）

run_date (datetime|str) – the date/time to run the job at  -（任务开始的时间）
timezone (datetime.tzinfo|str) – time zone for run_date if it doesn’t have one already

例子：

# The job will be executed on November 6th, 2009
sched.add_job(my_job, 'date', run_date=date(2009, 11, 6), args=['text'])
# The job will be executed on November 6th, 2009 at 16:30:05
sched.add_job(my_job, 'date', run_date=datetime(2009, 11, 6, 16, 30, 5), args=['text'])

Django中使用django-apscheduler执行定时任务

安装

pip install apscheduler

配置

（1）修改settings.py文件，在INSTALLED_APPS中加入django-apscheduler应用：

INSTALLED_APPS = [
    ......
    'django_apscheduler',#定时执行任务
]

（2）执行迁移命令：

python manage.py migrate
# python manage.py migrate django_apscheduler

使用

在任意一个views.py文件中加入实现代码，使得每次启动Django框架时，定时任务都会同时启动。代码如下：

from apscheduler.schedulers.background import BackgroundScheduler
from django_apscheduler.jobstores import DjangoJobStore, register_events, register_job

#开启定时工作
try:
    # 实例化调度器
    scheduler = BackgroundScheduler()
    # 调度器使用DjangoJobStore()
    scheduler.add_jobstore(DjangoJobStore(), "default")
    # 设置定时任务，选择方式为interval，时间间隔为10s
    # 另一种方式为每天固定时间执行任务，对应代码为：
    # @register_job(scheduler, 'cron', day_of_week='mon-fri', hour='9', minute='30', second='10',id='task_time')
    @register_job(scheduler,"interval", seconds=10)
    def my_job():
        # 这里写你要执行的任务
        pass
    register_events(scheduler)
    scheduler.start()
except Exception as e:
    print(e)
    # 有错误就停止定时器
    scheduler.shutdown()

 示例

from apscheduler.scheduler import Scheduler
from time import sleep

def task_Fun():
    '''
    这里写定时任务
    '''
    sleep(1)

sched = Scheduler()

@sched.interval_schedule(seconds=6)
def my_task1():
    print('定时任务1开始\n')
    task_Fun()
    print('定时任务1结束\n')

@sched.interval_schedule(hours=4)
def my_task2():
    print('定时任务2开始\n')
    sleep(1)
    print('定时任务2结束\n')


sched.start()

Crontab定时任务

crontab

官方链接：https://linuxtools-rst.readthedocs.io/zh_CN/latest/tool/crontab.html

在做一个django项目的时候，我遇到了一个定时任务的需求，我这里是需要定时扫描数据库并发送邮件，在查阅相关资料后，总结出如下几个方法

1. 使用while创建一个死循环，判断时间，从而执行一些函数
2. 使用APScheduler库实现定时任务 （详情可以见）
3. django-crontab实现定时任务
4. django-celery实现定时任务

django-crontab实现定时任务

在我斟酌再三，最终还是选择了django-crontab这个方法，这个方法最契合我的需求，同时也相对简单，所以本文也就着重介绍一下

django-crontab安装

安装django-crontab库

这里使用pip安装即可，在终端输入以下命令即可

pip install django-crontab

在工程里使用django-crontab

在django项目的settings.py的INSTALLED_APPS添加django-crontab

 

在app中加入django-crontab

django-crontab配置

django-crontab可以定时运行自定义命令和函数两种方式

定时函数

在django项目的settings.py中添加以下命令

CRONJOBS = ( ('*/1 * * * *', '你的app名.定时函数所在的py文件名.定时函数名'), ('0 0 1 * *', '你的app名.定时函数所在的py文件名.定时函数名', '>> 输出文件路径和名称'), )

• 第一种的意思就是每一分钟执行一次你的定时函数
• 第二种时定时函数输出的内容到指定文件（如果该路径或文件不存在将会自动创建）

定时命令

CRONJOBS = ( ('10 12 * * *', 'django.core.management.call_command', ['要执行的命令']), )

• 意思是在12点10分执行命令

定时任务的操作

1. python manage.py crontab add　　添加定时任务
2. python manage.py crontab remove 清除定时任务
3. python manage.py crontab show 显示定时任务

• 当你添加了或者修改的定时任务，只需执行命令1即可
• 如果你想删除定时任务，请执行命令2

注：

• 当定时任务执行时，如果你只是一些输出语句，那么你将看不到任何内容。请不要怀疑没有执行
• 上述环境在ubuntu16.04 lts django1.9中测试成功
• 上述文字皆为个人看法，如有错误或建议请及时联系我

作者：EarthChen

链接：https://www.jianshu.com/p/27f003149090

来源：简书

简书著作权归作者所有，任何形式的转载都请联系作者获得授权并注明出处。

查看crontab日志

1. linux
看 /var/log/cron.log这个文件就可以，可以用tail -f /var/log/cron.log观察

2. unix
在 /var/spool/cron/tmp文件中，有croutXXX001864的tmp文件，tail 这些文件就可以看到正在执行的任务了。

3. mail任务
在 /var/spool/mail/root 文件中，有crontab执行日志的记录，用tail -f /var/spool/mail/root 即可查看最近的crontab执行情况。

注：Ubuntu 默认没有开启cron log.

vim /etc/rsyslog.d/50-default.conf 
#cron.* /var/log/cron.log #去掉注释符号#， 
sudo service rsyslog restart #重启rsyslog 
sudo service crontab restart #重启crontab

示例

CRONJOBS = (
    ('*/1 * * * *', 'apps.index.test.do_something', '>>/tmp/cron.log'),
)

 apps.index.test.py

def do_something():
    print(123)

错误汇总

/tmp/cron.log没有日志打印，排查

1、apps.index.test.do_something，注意路径是否正确，apps在项目根目录

2、重启系统cron

更新系统时间时区后需要重启cron,在ubuntu中服务名为cron:

$service cron restart

ubuntu下启动、停止与重启cron:

$sudo /etc/init.d/cron start
$sudo /etc/init.d/cron stop
$sudo /etc/init.d/cron restart

3、Ubuntu 默认没有开启cron log.

vim /etc/rsyslog.d/50-default.conf 
#cron.* /var/log/cron.log #去掉注释符号#， 
sudo service rsyslog restart #重启rsyslog 
sudo service crontab restart #重启crontab

参考资料

django使用 django-apscheduler 实现定时任务

Django中使用django-apscheduler执行定时任务

作者：JL_Cheng