multiprocessing模块

multiprocessing包是Python中的多进程管理包。与threading.Thread类似,它可以使用multiprocessing.Proces 对象来创建一个进程。

该进程可以运行在Python程序内部编写的函数。该Process对象与Thread对象的用法相同,也start(),run()的方法。

此外multiprocessing包中也有Lock/Event/Semaphore/Condition类(这些对象可以像多线程那样,通过参数传递给各个进程),用以同步进程,其用法与threading包中的同名类一致。

所以,multiprocessing的很大一部份与threading使用同一套API,只不过换到了多进程的情境。接下来我们通过一个案例学习:

import time
import multiprocessing
 
def download () :
    print("开始下载文件...")
    time.sleep(1)
    print("完成下载文件...")
 
def upload() :
    print("开始上传文件...")
    time.sleep(1)
    print("完成上传文件...")
 
#download()
# upload()
#多进程与多线程的使用方式是差不多的
download_process = multiprocessing.Process(target=download)
upload_process = multiprocessing. Process(target=upload)
if _name_ == '_main_':
    #多进程必须要在 if _name_ == "_main_”里面
    download_process.start()
    upload_process.start ()
    #默认情况下,主进程代码运行完毕之后会等待子进程结束
    print('--主进程运行完了---')

上述代码是一个非常简单的程序,一旦运行这个程序,按照代码的执行顺序,download 函数执行完毕后才能执行upload 函数﹒如果可以让download和upload同时运行,显然执行这个程序的效率会大大提升。

python 多进程读写文件 python多进程读取同一个文件_多进程


要点:

  1. 进程(Process)是资源分配的最小单位
  2. 多进程是Python程序中实现多任务的一种方式,使用多进程可以大大提高程序的执行效率

进程的创建

  1. 导入进程包
    import multiprocessing
  2. 通过进程类创建进程对象
    进程对象= multiprocessing.Process()
  3. 启动进程执行任务
    进程对象.start()

通过进程类创建进程对象

进程对象=multiprocessing.Process(target=任务名)

python 多进程读写文件 python多进程读取同一个文件_python_02

进程的参数传递

python 多进程读写文件 python多进程读取同一个文件_selenium_03

进程执行带有参数的任务传参有两种方式:

  • 元组方式传参∶元组方式传参一定要和参数的顺序保持一致。
  • 字典方式传参:字典方式传参字典中的key一定要和参数名保持一致。