python 进程池使用

原创

mob649e815f494b 2023-11-13 05:34:21 ©著作权

文章标签 进程池 Python python 文章分类 Python 后端开发

©著作权归作者所有：来自51CTO博客作者mob649e815f494b的原创作品，请联系作者获取转载授权，否则将追究法律责任

Python进程池使用

在Python中，进程池是一种用于并发执行任务的工具，它可以提高程序的运行效率。本文将介绍Python中如何使用进程池，并提供相关的代码示例。

什么是进程池？

进程池是一种管理和复用进程的机制。它可以预先创建一组进程，并将任务分配给这些进程来执行，从而减少了创建和销毁进程的开销。进程池通常包含一个任务队列和一组工作进程，任务队列用于存储待执行的任务，工作进程从队列中获取任务并执行。

Python中的进程池

Python标准库中提供了multiprocessing模块，其中的Pool类可以用于创建进程池。Pool类提供了一系列方法来管理进程池和任务，包括提交任务、获取任务结果等。

创建进程池

首先，我们需要导入multiprocessing模块，并创建一个Pool对象来表示进程池。可以通过指定进程池中的进程数量来控制并发执行的任务数量。

import multiprocessing

# 创建进程池，参数为进程数量
pool = multiprocessing.Pool(processes=4)

提交任务

提交任务到进程池中可以使用apply方法或apply_async方法。apply方法是同步的，即任务提交后会阻塞当前进程直到任务执行完毕并返回结果。apply_async方法是异步的，即任务提交后会立即返回一个AsyncResult对象，可以通过该对象获取任务执行结果。

# 同步提交任务
result = pool.apply(func, args=(arg1, arg2))

# 异步提交任务
async_result = pool.apply_async(func, args=(arg1, arg2))

获取任务结果

对于使用apply方法提交的任务，可以直接通过返回值获取任务的执行结果。对于使用apply_async方法提交的任务，可以通过get方法获取任务的执行结果。

# 获取任务结果
result = async_result.get()

关闭进程池

当所有任务执行完毕后，应该关闭进程池以释放系统资源。可以使用close方法关闭进程池，该方法会阻塞直到所有任务都执行完毕。然后可以使用join方法等待所有工作进程退出。

# 关闭进程池
pool.close()

# 等待所有工作进程退出
pool.join()

示例

下面是一个简单的示例，演示了如何使用进程池来并发下载多个网页。

import requests
import multiprocessing

def download_page(url):
    response = requests.get(url)
    return response.content

if __name__ == '__main__':
    urls = [' ' '

    # 创建进程池
    pool = multiprocessing.Pool(processes=3)

    # 提交任务并获取结果
    results = [pool.apply_async(download_page, args=(url,)) for url in urls]

    # 获取任务结果
    pages = [result.get() for result in results]

    # 关闭进程池
    pool.close()
    pool.join()

    # 打印结果
    for page in pages:
        print(len(page))