python await 可以设置超时时间吗 python async await原理

转载

卫斯理 2024-06-06 10:36:10

文章标签 python 协程可以嵌套协程吗小程序async await axios python 子任务并发编程 文章分类 Python 后端开发

python 一直在进行并发编程的优化，比较熟知的是使用 thread 模块多线程和 multiprocessing 多进程，后来慢慢引入基于 yield 关键字的协程。而近几个版本，python 对于协程的写法进行了大幅的优化，很多之前的协程写法不被官方推荐了。如果你之前了解过 python 协程，你应该看看最新的用法。

并发、并行、同步和异步

并发指的是 一个 CPU 同时处理多个程序，但是在同一时间点只会处理其中一个。并发的核心是：程序切换。

但是因为程序切换的速度非常快，1 秒钟内可以完全很多次程序切换，肉眼无法感知。

python await 可以设置超时时间吗 python async await原理_小程序async await axios

并行指的是多个 CPU 同时处理多个程序，同一时间点可以处理多个。

python await 可以设置超时时间吗 python async await原理_并发编程_02

同步：执行 IO 操作时，必须等待执行完成才得到返回结果。异步：执行 IO 操作时，不必等待执行就能得到返回结果。

python await 可以设置超时时间吗 python async await原理_python_03

协程，线程和进程的区别

多进程通常利用的是多核 CPU 的优势，同时执行多个计算任务。每个进程有自己独立的内存管理，所以不同进程之间要进行数据通信比较麻烦。

多线程是在一个 cpu 上创建多个子任务，当某一个子任务休息的时候其他任务接着执行。多线程的控制是由 python 自己控制的。子线程之间的内存是共享的，并不需要额外的数据通信机制。但是线程存在数据同步问题，所以要有锁机制。

协程的实现是在一个线程内实现的，相当于流水线作业。由于线程切换的消耗比较大，所以对于并发编程，可以优先使用协程。

。。。这是对比图：

协程的基础使用

这是 python 3.7 里面的基础协程用法，现在这种用法已经基本稳定，不太建议使用之前的语法了。

import asyncio
import time

async def visit_url(url, response_time):
    """访问 url"""
    await asyncio.sleep(response_time)
    return f"访问{url}, 已得到返回结果"

start_time = time.perf_counter()
task = visit_url('http://wangzhen.com', 2)
asyncio.run(task)
print(f"消耗时间：{time.perf_counter() - start_time}")

1, 在普通的函数前面加 async 关键字；
2，await 表示在这个地方等待子函数执行完成，再往下执行。（在并发操作中，把程序控制权教给主程序，让他分配其他协程执行。） await 只能在带有 async 关键字的函数中运行。
3， asynico.run() 运行程序
4，这个程序消耗时间 2s 左右。

增加协程

再添加一个任务：

task2 = visit_url('http://another.com', 3)
asynicio.run(task2)

这 2 个程序一共消耗 5s 左右的时间。并没有发挥并发编程的优势。如果是并发编程，这个程序只需要消耗 3s,也就是task2的等待时间。要想使用并发编程形式，需要把上面的代码改一下。

import asyncio
import time

async def visit_url(url, response_time):
    """访问 url"""
    await asyncio.sleep(response_time)
    return f"访问{url}, 已得到返回结果"

async def run_task():
    """收集子任务"""
    task = visit_url('http://wangzhen.com', 2)
    task_2 = visit_url('http://another', 3)
    await asyncio.run(task)
    await asyncio.run(task_2)

asyncio.run(run_task())
print(f"消耗时间：{time.perf_counter() - start_time}")

asyncio.gather 会创建 2 个子任务，当出现 await 的时候，程序会在这 2 个子任务之间进行调度。

create_task

创建子任务除了可以用 gather 方法之外，还可以使用 asyncio.create_task 进行创建。

async def run_task():
    coro = visit_url('http://wangzhen.com', 2)
    coro_2 = visit_url('http://another.com', 3)

    task1 = asyncio.create_task(coro)
    task2 = asyncio.create_task(coro_2)

    await task1
    await task2