单线程+多任务异步协程(重点)
协程的基本使用asyncio
1、特殊的函数
一个函数表示一组指定的操作。
import asyncio
from time import sleep
def get_request(url):
print('正在下载:',url)
sleep(2)
print('下载完成:',url)
get_request('www.baidu.com')
>>>
正在下载: www.baidu.com
下载完成: www.baidu.com
如果一个函数的定义被async关键字修饰后,则该函数就变成了一个特殊的函数。
async def get_request(url):
print('正在下载:',url)
sleep(2)
print('下载完成:',url)
get_request('www.baidu.com')
>>>
<coroutine object get_request at 0x0000021B165267C8>
- 特殊之处:
- 当特殊的函数被调用函数内部的实现语句不会被立即执行。
- 这个特殊函数被调用后会给我们返回一个协程对象。
2、协程
- 对象:协程对象 == 特殊函数 == 一组指定的操作
- 相当于 协程 == 一组指定的操作
async def get_request(url):
print('正在下载:',url)
sleep(2)
print('下载完成:',url)
#获取一个协程对象
c_object = get_request('www.baidu.com')
print(c_object) #协程对象
>>>
<coroutine object get_request at 0x0000011F757EAEC8>
3、任务
- 任务对象。所谓任务对象就是对协程对象进一步的封装。
- 任务对象 == 高级协程对象 == 特殊函数 == 一组指定的操作
async def get_request(url):
print('正在下载:',url)
sleep(2)
print('下载完成:',url)
#获取一个协程对象
c_object = get_request('www.baidu.com')
#对协程c进行进一步封装,返回一个任务对象
task1 = asyncio.ensure_future(c_object) #获得了一个任务对象
>>>
正在下载: www.baidu.com
下载完成, www.baidu.com
- 给任务对象绑定回调:
- task.add_done_callback(func)
import asyncio
from time import sleep
async def get_request(url):
print('正在下载:',url)
sleep(2)
print('下载完成,',url)
#创建事件循环对象
c_object = get_request('www.baidu.com')
task = asyncio.ensure_future(c_object) #获得了一个任务对象
#事件循环对象目前是独立于协程和任务对象
loop = asyncio.get_event_loop() #创建了一个事件循环对象
#将任务对象注册装载到事件循环对象中并且启动事件循环对象
loop.run_until_complete(task)
上述代码无法获取特殊函数内部返回值
import asyncio
from time import sleep
#回调函数必须要有一个参数,表示的就是add_done_callback方法的调用者,就是任务对象本身
def callback(task):
print('i am callback!,参数task=',task)
print(task.result()) #获取特殊函数内部的返回值
#无法获取特殊函数内部的返回值
async def get_request(url):
print('正在下载:',url)
sleep(2)
print('下载完成,',url)
return url
c_object = get_request('www.baidu.com')#创建事件循环对象
task = asyncio.ensure_future(c_object) #获得了一个任务对象
task.add_done_callback(callback)#给任务对象绑定回调函数
#事件循环对象目前是独立于协程和任务对象
loop = asyncio.get_event_loop() #创建了一个事件循环对象
loop.run_until_complete(task)#将任务对象注册装载到事件循环对象中并且启动事件循环对象
>>>
正在下载: www.baidu.com
下载完成, www.baidu.com
i am callback!,参数task= <Task finished coro=<get_request() done, defined at E:/crawler/协程操作.py:8> result='www.baidu.com'>
www.baidu.com
通过给任务对象绑定回调的方式获取特殊函数内部的返回值
- 回调函数的参数表示的就是任务对象本身
- task.result()返回的就是特殊函数内部的返回值
4、事件循环(核心)
- 一个容器对象。这个对象需要装载一个或者多个任务对象。生成的任务对象必须注册或者装载到事件循环对象中,然后如果事件循环对象启动后,就可以异步的将其内部装载的任务对象进行异步执行。