python并发执行函数

原创

mob649e8162c013 2023-07-18 14:34:47 ©著作权

文章标签 线程池 Python 进程池 文章分类 Python 后端开发

©著作权归作者所有：来自51CTO博客作者mob649e8162c013的原创作品，请联系作者获取转载授权，否则将追究法律责任

Python并发执行函数

在编程中，我们经常需要同时执行多个任务。传统的方式是使用线程或进程来实现并发执行。Python提供了多个库和模块来实现并发编程，其中最常用的是concurrent.futures模块和asyncio库。本文将介绍如何使用这两个工具来实现Python中的函数的并发执行。

concurrent.futures模块

concurrent.futures模块提供了高层次的接口来并发执行函数。它主要使用ThreadPoolExecutor和ProcessPoolExecutor两个类来实现线程池和进程池。

我们先来看一个简单的使用线程池的例子：

import concurrent.futures

def square(n):
    return n**2

def main():
    # 创建线程池，最大线程数为3
    with concurrent.futures.ThreadPoolExecutor(max_workers=3) as executor:
        # 提交任务到线程池
        results = [executor.submit(square, i) for i in range(10)]
        # 获取执行结果
        for future in concurrent.futures.as_completed(results):
            result = future.result()
            print(result)

if __name__ == '__main__':
    main()

在上面的例子中，我们定义了一个square函数，用于计算一个数的平方。main函数中，我们创建了一个线程池，并使用executor.submit方法提交任务到线程池。submit方法返回一个Future对象，表示任务的未来结果。我们将所有的Future对象保存在一个列表中。然后，使用concurrent.futures.as_completed函数遍历Future对象列表，并使用result方法获取每个任务的结果。

除了线程池，我们还可以使用进程池来并发执行函数。进程池的使用方式与线程池类似，只需要将ThreadPoolExecutor替换为ProcessPoolExecutor即可。

asyncio库

asyncio是Python标准库中的一个异步I/O框架，它使用协程来实现异步编程。我们可以使用asyncio库来实现函数的并发执行。

下面是一个使用asyncio库的例子：

import asyncio

async def square(n):
    return n**2

async def main():
    # 创建任务列表
    tasks = [square(i) for i in range(10)]
    # 并发执行任务
    results = await asyncio.gather(*tasks)
    # 打印结果
    for result in results:
        print(result)

if __name__ == '__main__':
    asyncio.run(main())

在上面的例子中，我们定义了一个异步函数square，使用async关键字修饰。main函数中，我们创建了一个任务列表，每个任务都是一个square函数的调用。然后，使用asyncio.gather函数并发执行所有的任务，并使用await关键字等待任务完成并获取结果。