Python - 多任务:协程

  • 并行 and 并发
  • 协程
  • yield 实现
  • greenlet 实现
  • gevent 实现


并行 and 并发

在多任务中,存在两个概念:并发与并行。

其中并发是假的多任务:在一个时间段中有多个程序都处于运行状态,且这几个程序是在同一个处理机上运行的,但任一个时刻点上实际只有一个程序在处理机上运行。在宏观上是同时进行,但微观上仍是顺序执行,所以称之为假的多任务。

而并行则是真的多任务:多个程序同时在多个处理机上运行,宏观上同时进行,在微观上仍然是同时进行的,所以是真的多任务

对于之前讲过的多线程,根据具体运行环境的不同,它所属情况也不同。例如在 Java 中多线程就是真的多任务,是并行计算,而在 Python 中,由于全局解释器锁的存在(GIL,Global Interpreter Lock),使得在同一进程内任何时刻仅有一个线程在执行,所以运行中是假的多任务。

协程

Python 中的协程仍然是假的多任务,本质是调用多个生成器的 __next__() 方法,达到多个生成器交替运行的效果。

协程运行于单线程中,任务调度(切换执行任务)都相当于调用函数,所以耗费的资源非常的少。(多进程最耗费资源,多线程次之,协程最少)

下面看一下协程的实现方式。

yield 实现

实际上通过调用 __next__() 实现协程,使得多个函数交替进行。

def task_1():
    while True:
        print("1")
        yield


def task_2():
    while True:
        print("2")
        yield


def main():
    t1 = task_1()
    t2 = task_2()
    while True:
        next(t1)
        next(t2)

main()
greenlet 实现
import greenlet

def task_1():
    while True:
        print("1")
        # 手动切换到 task_2
        g2.switch()


def task_2():
    while True:
        print("2")
        # 手动切换到 task_1
        g1.switch()

g1 = greenlet(task_1)
g2 = greenlet(task_2)
gevent 实现
from gevent import monkey
	import gevent

    # 协程 gevent 在延时(或执行耗时操作、阻塞)的时候会自动切换任务
    # 协程就是利用 IO 等待时间执行其他任务
    # 方法内部使用 gevent.sleep() 进行延时操作,但手动添加 sleep 不现实,
    # 所以使用 monkey.patch_all() 自动将所有等待操作替换成 gevent.sleep()
	monkey.patch_all()

	def task_1():
	    while True:
	        print("1")
	        # 手动切换到 task_2
	        g2.switch()
	
	def task_2():
	    while True:
	        print("2")
	        # 手动切换到 task_1
	        g1.switch()

	g1 = gevent.spawn(task_1)
	g2 = gevent.spawn(task_2)
	
	# 或者 gevent.joinall([g1, g2])
    g1.join()
    g2.join()