python等待所有进程结束

原创

mob649e815adb02 2023-09-28 12:23:54 ©著作权

文章标签 Python 示例代码 python 文章分类 Python 后端开发

©著作权归作者所有：来自51CTO博客作者mob649e815adb02的原创作品，请联系作者获取转载授权，否则将追究法律责任

Python等待所有进程结束

介绍

在Python中，我们经常需要并发执行多个进程或线程。这在处理大量数据、网络请求、并行计算等任务时非常有用。然而，当我们启动多个进程后，如何等待它们全部完成再继续执行下面的代码呢？

本文将介绍如何使用Python等待所有进程结束的方法，并提供代码示例。

并发执行进程

在Python中，并发执行进程有多种方式，例如使用multiprocessing库、subprocess库等。在本文中，我们以multiprocessing库为例。

multiprocessing库是Python标准库中用于并行处理的库，它提供了一个Process类，可以方便地创建和管理进程。

下面是一个简单的示例代码，展示了如何使用multiprocessing库同时执行两个进程：

import multiprocessing
import time

def worker():
    print("Worker started")
    time.sleep(2)
    print("Worker finished")

if __name__ == '__main__':
    p1 = multiprocessing.Process(target=worker)
    p2 = multiprocessing.Process(target=worker)

    p1.start()
    p2.start()

    p1.join()
    p2.join()

    print("All processes finished")

在上面的代码中，我们定义了一个worker函数，它会打印出开始和结束的信息，并在执行过程中休眠2秒。然后，我们创建了两个Process对象，分别指定了target参数为worker函数。接着，我们启动这两个进程，并使用join方法等待它们的结束。

等待所有进程结束

在上面的示例代码中，我们使用了join方法来等待进程结束。join方法会阻塞当前进程，直到调用它的进程结束。

如果我们有多个进程需要等待，可以使用join方法对每个进程都调用一次。然而，如果我们有很多个进程，这样的做法会非常繁琐。幸运的是，multiprocessing库提供了一个更方便的方法。

multiprocessing库中的Pool类提供了一个join方法，可以等待所有进程结束。下面是一个示例代码：

import multiprocessing
import time

def worker():
    print("Worker started")
    time.sleep(2)
    print("Worker finished")

if __name__ == '__main__':
    pool = multiprocessing.Pool(processes=2)

    for _ in range(2):
        pool.apply_async(worker)

    pool.close()
    pool.join()

    print("All processes finished")

在上面的示例代码中，我们创建了一个Pool对象，并指定了processes参数为2，表示最多同时执行2个进程。然后，我们使用apply_async方法向进程池提交任务。

最后，我们调用close方法关闭进程池，并使用join方法等待所有进程结束。