文章目录

  • 一、名词解释
  • 二、多进程 multiprocessing
  • 三、多线程 Threading
  • 四、多协程 asyncio
  • 参考


一、名词解释

随着python使用的深入，任务量越来越大，普通的notebook或python程序运行需要越来越多的时间。
此时Python 并发编程也逐渐重要起来。

现有三种主流Python并发编程方式：

  • 多进程 multiprocessing
  • 多线程 Threading
  • 多协程 asyncio

有些同学可能分不太清线程进程，这里提供一种记忆方式：首先，很简单，一根线就是一个线程，闭上眼想象一捆线绑在一起组成了一捆更粗的线集，这就是一个进程；而协程，则是一根线里分化出的许多子应用。 因此一个进程中可以启动N个线程，一个线程中可以启动N个协程。

OK，知道了这几种并发方式，那我们该在什么时候选择什么样的方式，他们各自又有什么特点呢？直接看下表。
多进程、多线程、多协程的对比

类型

优点

缺点

适用

多进程

可以利用多核CPU并行运算

占用资源最多、可启动数目比线程少

CPU密集型计算

多线程

相比进程，更轻量级、占用资源少

相比进程：多线程只能并发执行，不能利用多CPU (GIL ) 相比协程：启动数目有限制，占用内存资源，有线程切换开销

IO密集型计算、同时运行的任务数目要求不多

多协程

内存开销最少、启动协程数量最多

支持的库有限制(aiohttp VS requests)、代码实现复杂

IO密集型计算、需要超多任务运行、但有现成库支持的场景

针对上面的CPU密集型 (CPU-bound) 计算、IO密集型 (I/O bound) 计算，解释如下：

名称

解释

举例

CPU密集型

CPU密集型也叫计算密集型，是指I/O在很短的时间就可以完成，CPU需要大量的计算和处理，特点是CPU占用率相当高

压缩解压缩、加密解密、正则表达式搜索

IO密集型

IO密集型指的是系统运作大部分的状况是CPU在等I/O (硬盘/内存)的读/写操作，CPU占用率仍然较低。

文件处理程序、网络爬虫程序、读写数据库程序

二、多进程 multiprocessing

三、多线程 Threading

四、多协程 asyncio