python gevent 中使用 multiprocessing python gevent原理

转载

智能创新梦想家 2023-10-24 05:08:12

文章标签 多线程 redis 编程语言 epoll css 文章分类 Python 后端开发

背景

因为 Python 线程的性能问题，在 Python 中使用多线程运行代码经常不能达到预期的效果。而实际开发中我们经常有高并发的需求，这就要求我们的代码在跑的更快的同时需要单位时间内执行更多的有效逻辑、减少无用的等待。

什么是协程？

我们可以认为线程是轻量级的进程，所以你也可以理解协程是轻量级的线程。协程即在一个线程执行 A 函数时可以随时中断去执行 B 函数，可以自由切换。但这个过程并不是函数调用，现象和多线程一样，实际上是一个线程。其中 gevent 是 Python 协程的一个经典实现。

什么是 gevent？

gevent 是 Python 的一个并发框架，基于 greenlet 实现，使用了 epoll 事件监听机制以及诸多其他优化而变得高效。其基本思想就是一个 greenlet 就是一个协程，当 greenlet 遇到 IO 操作时，比如访问网络，就会自动切换到其他的 greenlet，等待 IO 完成再切换回来继续执行。gevent 可以帮我们自动实现这个协程切换的过程。

协程的例子

代码：

import gevent,time

def f1():
    for i in range(5):
        print('function:@@@f1 | NUM: @@@',i)

        # 此处阻塞，gevent会帮我们切换到其他协程去↓
        gevent.sleep(0)

def f2():
    for i in range(5):
        print('function:@@@f2 | NUM: @@@',i)

        # 此处阻塞，gevent会帮我们切换到其他协程去↑
        gevent.sleep(0)

# 创建两个协程对象，分别去执行两个函数
xc1=gevent.spawn(f1)
xc2=gevent.spawn(f2)

# 将协程们交给gevent去执行
gevent.joinall([xc1,xc2])

执行结果：

function:@@@f1 | NUM: @@@ 0
function:@@@f2 | NUM: @@@ 0
function:@@@f1 | NUM: @@@ 1
function:@@@f2 | NUM: @@@ 1
function:@@@f1 | NUM: @@@ 2
function:@@@f2 | NUM: @@@ 2
function:@@@f1 | NUM: @@@ 3
function:@@@f2 | NUM: @@@ 3
function:@@@f1 | NUM: @@@ 4
function:@@@f2 | NUM: @@@ 4

如上，当 gevent 帮我们执行两个协程的时候，首先 xc1 执行到 gevent.sleep(0)时发生阻塞，此时，gevent 帮我们将切换到 xc2，xc2 执行到 gevent.sleep(0)时又发生了阻塞，此时，gevent 又帮我们将切换到 xc1 去执行。

Q&A

Q：无法捕获的耗时

代码：

import gevent,time

def f1():
    for i in range(5):
        print('function:@@@f1 | NUM: @@@',i)

        # 注意这里
        time.sleep(0.1)

def f2():
    for i in range(5):
        print('function:@@@f2 | NUM: @@@',i)

        # 注意这里
        time.sleep(0.1)

# 创建两个协程对象，分别去执行两个函数
xc1=gevent.spawn(f1)
xc2=gevent.spawn(f2)

# 将协程们交给gevent去执行
gevent.joinall([xc1,xc2])

执行结果：

function:@@@f1 | NUM: @@@ 0
function:@@@f1 | NUM: @@@ 1
function:@@@f1 | NUM: @@@ 2
function:@@@f1 | NUM: @@@ 3
function:@@@f1 | NUM: @@@ 4
function:@@@f2 | NUM: @@@ 0
function:@@@f2 | NUM: @@@ 1
function:@@@f2 | NUM: @@@ 2
function:@@@f2 | NUM: @@@ 3
function:@@@f2 | NUM: @@@ 4

如上，你会发现，time.sleep(0.1)耗费的时间，gevent 无法捕捉，导致代码是串行的，虽然我们创建了协程，但是并没有起到异步的作用。

怎么办呢？请看下面的解决方案。

A：猴子补丁

对于无法捕获的耗时，gevent 为我们提供了猴子补丁，当我们为我们的程序打了猴子补丁，那么当我们的程序遇到任何耗时的操作，gevent 都会帮我们去自动切换协程，从而实现异步高并发。

代码：

import gevent,time
from gevent import monkey;monkey.patch_all()

def f1():
    for i in range(5):
        print('function:@@@f1 | NUM: @@@',i)

        # 注意这里
        time.sleep(0.1)

def f2():
    for i in range(5):
        print('function:@@@f2 | NUM: @@@',i)

        # 注意这里
        time.sleep(0.1)

# 创建两个协程对象，分别去执行两个函数
xc1=gevent.spawn(f1)
xc2=gevent.spawn(f2)

# 将协程们交给gevent去执行
gevent.joinall([xc1,xc2])

执行结果：

function:@@@f1 | NUM: @@@ 0
function:@@@f2 | NUM: @@@ 0
function:@@@f1 | NUM: @@@ 1
function:@@@f2 | NUM: @@@ 1
function:@@@f1 | NUM: @@@ 2
function:@@@f2 | NUM: @@@ 2
function:@@@f1 | NUM: @@@ 3
function:@@@f2 | NUM: @@@ 3
function:@@@f1 | NUM: @@@ 4
function:@@@f2 | NUM: @@@ 4

如上，你会发现协程的切换已经实现，问题完美解决。

实践

异步 requests 请求

代码：

from gevent import monkey;monkey.patch_all()
import gevent,time,requests
from urllib3 import disable_warnings

disable_warnings()

def req(url):
    res = requests.get(url,verify=False)
    if res:
        print('URL:{} | CODE:{}!'.format(url,res.status_code))
    else:
        print('URL:{} FAILED!')

xc1=gevent.spawn(req,'https://www.baidu.com')
xc2=gevent.spawn(req,'https://www.gitee.com')
xc3=gevent.spawn(req,'https://www.huaweicloud.com')

gevent.joinall([xc1,xc2,xc3])

执行结果：

URL:https://www.baidu.com | CODE:200!
URL:https://www.huaweicloud.com | CODE:200!
URL:https://www.gitee.com | CODE:200!

gevent 的锁

代码：

from gevent import monkey;monkey.patch_all()
from gevent.lock import Semaphore
import gevent,time

# 信号量设置为1
s1=Semaphore(1)

def f1():
    for i in range(5):
        # 信号量-1，即拿到锁
        s1.acquire()
        print('function:@@@f1 | NUM: @@@',i)

        # 信号量+1，即释放锁
        s1.release()

        # 猴子补丁帮忙识别阻塞
        time.sleep(0.1)

def f2():
    for i in range(5):
        # 信号量-1，即拿到锁
        s1.acquire()
        print('function:@@@f2 | NUM: @@@',i)

        # 信号量+1，即释放锁
        s1.release()

        # 猴子补丁帮忙识别阻塞
        time.sleep(0.3)

# 创建两个协程对象，分别去执行两个函数
xc1=gevent.spawn(f1)
xc2=gevent.spawn(f2)

# 将协程们交给gevent去执行
gevent.joinall([xc1,xc2])

执行结果：

function:@@@f1 | NUM: @@@ 0
function:@@@f2 | NUM: @@@ 0
function:@@@f1 | NUM: @@@ 1
function:@@@f1 | NUM: @@@ 2
function:@@@f2 | NUM: @@@ 1
function:@@@f1 | NUM: @@@ 3
function:@@@f1 | NUM: @@@ 4
function:@@@f2 | NUM: @@@ 2
function:@@@f2 | NUM: @@@ 3
function:@@@f2 | NUM: @@@ 4

如上，可以看到，gevent 可以自动处理锁和阻塞。按阻塞规律，f1 和 f2 会交替执行，但是加上阻塞时间，因为 f2 的阻塞时间是 f1 的 3 倍，所以前 6 条打印中，f1 执行的次数是 f2 的三倍，即 gevent 可以自动判断和处理阻塞和锁同时存在的情况。