Python标准库concurrent.futures模块高层次的异步执行接口

原创

迎难学字 2024-06-04 10:59:56 ©著作权

文章标签 线程池进程池 Python 文章分类 Python 后端开发

©著作权归作者所有：来自51CTO博客作者迎难学字的原创作品，请联系作者获取转载授权，否则将追究法律责任

concurrent.futures模块是Python的一个标准库，它提供了一个高层次的异步执行接口，用于在Python程序中实现并行和并发。它允许你以一种简单而高效的方式使用线程和进程池来并行执行任务。

concurrent.futures模块主要提供了以下两种执行器：

ThreadPoolExecutor：用于创建线程池，它适用于I/O密集型任务，因为线程可以在等待I/O操作时被操作系统挂起，从而允许其他线程运行。
ProcessPoolExecutor：用于创建进程池，它适用于CPU密集型任务，因为进程可以利用多核处理器并行运行。

以下是concurrent.futures模块的一些基本用法：

使用`ThreadPoolExecutor`：

import concurrent.futures

# 定义一个简单的函数，用于模拟耗时任务
def task(n):
    print(f"Processing {n}")
    return n * n

# 创建一个线程池执行器
with concurrent.futures.ThreadPoolExecutor(max_workers=5) as executor:
    # 将任务提交给线程池
    future_to_task = {executor.submit(task, n): n for n in range(10)}

    # 等待所有任务完成，并获取结果
    for future in concurrent.futures.as_completed(future_to_task):
        result = future.result()
        print(f"Task returned {result}")

使用`ProcessPoolExecutor`：

import concurrent.futures

# 定义一个简单的函数，用于模拟耗时任务
def task(n):
    print(f"Processing {n}")
    return n * n

# 创建一个进程池执行器
with concurrent.futures.ProcessPoolExecutor() as executor:
    # 将任务提交给进程池
    results = list(executor.map(task, range(10)))

# 打印结果
for result in results:
    print(result)

在使用concurrent.futures时，需要注意以下几点：