上一篇在讲解Celery的配置中,提到将Celery的配置抽出到一个独立的文件进行管理,如下:
下面我们再来看看,当task任务越来越多的时候,也应该要抽出来。
整理Celery模块的目录
在前面的目录基础上,再创建一个celery.py文件,然后我们的文件结构如下:
调整各模块文件的代码
- celery.py内容如下:
from celery import Celery
from celery_tasks import celeryconfig
## 使用增加配置的方式创建celery app
app = Celery('celery_tasks.tasks')
# 从单独的配置模块中加载配置
app.config_from_object(celeryconfig)
# 自动搜索任务
app.autodiscover_tasks(['celery_tasks'])
- celeryconfig.py模块内容如下:
from kombu import Exchange, Queue
# 设置结果存储
CELERY_RESULT_BACKEND = 'redis://127.0.0.1:6379/9'
# 设置代理人broker
BROKER_URL = 'redis://127.0.0.1:6379/8'
- tasks.py模块内容如下:
from celery_tasks.celery import app as celery_app
# 创建任务函数
@celery_app.task
def my_task1():
print("任务函数(my_task1)正在执行....")
@celery_app.task
def my_task2():
print("任务函数(my_task2)正在执行....")
@celery_app.task
def my_task3():
print("任务函数(my_task3)正在执行....")
- 启动worker:celery -A celery_tasks worker -l info -P eventlet
要注意:这里是以Celery的包进行启动,之前是使用tasks进行启动的。celery -A celery_tasks.tasks worker -l info -P eventlet
启动日志如下:
(venv) F:\pythonProject\django-pratice>celery -A celery_tasks worker -l info -P eventlet
-------------- celery@USC2VG2F9NPB650 v4.3.0 (rhubarb)
---- **** -----
--- * *** * -- Windows-10-10.0.17763-SP0 2019-08-03 17:26:52
-- * - **** ---
- ** ---------- [config]
- ** ---------- .> app: celery_tasks.tasks:0x2a98a1b7320
- ** ---------- .> transport: redis://127.0.0.1:6379/8 # 设置的 broker
- ** ---------- .> results: redis://127.0.0.1:6379/9 # 设置的结果存储
- *** --- * --- .> concurrency: 12 (eventlet) # 并发的数量
-- ******* ---- .> task events: OFF (enable -E to monitor tasks in this worker)
--- ***** -----
-------------- [queues]
.> celery exchange=celery(direct) key=celery
[tasks] # 注册的任务
. celery_tasks.tasks.my_task1
. celery_tasks.tasks.my_task2
. celery_tasks.tasks.my_task3
[2019-08-03 17:26:52,822: INFO/MainProcess] Connected to redis://127.0.0.1:6379/8
[2019-08-03 17:26:52,872: INFO/MainProcess] mingle: searching for neighbors
[2019-08-03 17:26:54,073: INFO/MainProcess] mingle: all alone
[2019-08-03 17:26:54,196: INFO/MainProcess] celery@USC2VG2F9NPB650 ready.
[2019-08-03 17:26:54,230: INFO/MainProcess] pidbox: Connected to redis://127.0.0.1:6379/8.
下面来调用一下任务测试一下,打开另一个终端,如下:
# 导入三个task任务
In [1]: from celery_tasks.tasks import my_task1,my_task2,my_task3
# 下面使用delay方法调用各个task任务
In [2]: my_task1.delay()
Out[2]: <AsyncResult: 20d3ee91-d101-477a-9326-6dba394d8bda>
In [3]: my_task1.delay()
Out[3]: <AsyncResult: b069c036-ede8-4061-a490-5a63131871ab>
In [4]: my_task2.delay()
Out[4]: <AsyncResult: 44e9570a-d5c1-445b-92cc-885d0752a5a7>
In [5]: my_task3.delay()
Out[5]: <AsyncResult: 71ded829-2270-418c-afbf-72fb39a5169a>
In [6]:
回到celery的日志终端,查看任务执行信息,如下: