python 异步 requests Python 异步多核

转载

mob6454cc649dc8 2023-08-26 22:57:07

文章标签 python 异步 requests 生成器赋值 ci 文章分类 Python 后端开发

协程

协程，一个线程执行多个子程序，来回切换。

很类似多线程，哪和多线程相比有何优势呢？

1、协程的执行效率很高。因为是子程序切换而不是线程切换，由程序自身控制。因此，没有线程切换的开销。和多线程比，线程数量越多，协程的性能优势就越明显。

2、不需要多协程的锁机制，因为只有一个线程，也不存在同时写变量冲突，在协程中控制共享资源不加锁，只需要判断状态就好了，所以执行效率比多线程高很多。

而因为协程是一个线程执行，那么怎么利用多核CPU呢？

最简单的方法就是多线程+协程。既充分利用多核，又充分发挥协程的高效率，可获得极高的性能。

来看例子：

传统的生产者-消费者模型是一个线程写消息，一个线程取消息，通过锁机制控制队列和等待，但一不小心就可能死锁。

如果改用协程，生产者生产消息后，直接通过yield跳转到消费者开始执行，待消费者执行完毕后，切换回生产者继续生产，效率极高：

def consumer():
    r = ''
    while True:
        n = yield r
        if not n:
            return
        print('[CONSUMER] Consuming %s...' % n)
        r = '200 OK'

def produce(c):
    c.send(None)
    n = 0
    while n < 5:
        n = n + 1
        print('[PRODUCER] Producing %s...' % n)
        r = c.send(n)
        print('[PRODUCER] Consumer return: %s' % r)
    c.close()

c = consumer()
produce(c)

执行结果：

[PRODUCER] Producing 1...
[CONSUMER] Consuming 1...
[PRODUCER] Consumer return: 200 OK
[PRODUCER] Producing 2...
[CONSUMER] Consuming 2...
[PRODUCER] Consumer return: 200 OK
[PRODUCER] Producing 3...
[CONSUMER] Consuming 3...
[PRODUCER] Consumer return: 200 OK
[PRODUCER] Producing 4...
[CONSUMER] Consuming 4...
[PRODUCER] Consumer return: 200 OK
[PRODUCER] Producing 5...
[CONSUMER] Consuming 5...
[PRODUCER] Consumer return: 200 OK

为了更好的理解上述例子，我需要先了解send（）的作用。

send() 在接收None参数的时候，等同于next(generator)的功能，但他同时也可以接收其他的参数。

例：

>>> def num():
        a = yield 1
        while True:
            a = yield a
       
>>> c = num()
>>> c.send(None)
1
>>> c.send(5)
5
>>> c.send(100)
100

在上述例子中，首先使用c.send(None),返回生成器的第一个值，a = yield 1，也就是1（此时并未执行赋值语句）。

接着我们使用了c.send(5)，再次启动生成器，并同时传入了一个参数5，再次启动生成的时候，从上次yield语句断掉的地方开始执行，即 a 的赋值语句，由于我们传入了一个参数5，所以a被赋值为5，接着程序进入whlie循环，当程序执行到 a = yield a，同理，先返回生成器的值 5，下次启动生成器的时候，再执行赋值语句，以此类推…

所以说" Python的yield不但可以返回一个值，它还可以接收调用者发出的参数。"

但注意，在一个生成器函数未启动之前，是不能传递值进去。也就是说在使用c.send(n)之前，必须先使用c.send(None)或者next©来返回生成器的第一个值。

然后分析我们的代码：
1、我们先看最下面的命令， c = consumer()和produce（c），把consumer()函数赋值给c，然后做为produce（c）的参数并执行。

2、先来看 n= yield r 赋值运算先计算右边，而右边是yield，所以执行完生成器进入暂停，而n还未被赋值。

2、然后看下面的函数，执行c.send(None)返回空值（因为r = ‘ ’ ，所以此时的yield r 为空值）进入暂停，produce（c）接着往下运行，进入whil循环，此时 n = 0 + 1，所以打印：