Python 线程池等待运行：高效并发处理

在现代软件开发中，多线程编程是一种常见的并发处理方式。Python 通过 threading 模块提供了线程的支持，但直接使用线程可能会遇到资源竞争和线程管理的问题。为了解决这些问题，我们可以使用线程池（ThreadPoolExecutor），它是一种预先创建并管理一定数量线程的机制，可以有效地利用线程资源，提高程序的执行效率。

线程池的基本概念

线程池是一种管理线程的模式，它预先创建一定数量的线程，并在需要时从池中获取线程来执行任务。当任务执行完成后，线程会被回收并放回池中，供其他任务使用。这种方式可以减少线程创建和销毁的开销，提高资源利用率。

使用 concurrent.futures.ThreadPoolExecutor

Python 的 concurrent.futures 模块提供了一个线程池的实现，即 ThreadPoolExecutor。我们可以通过这个类来创建和管理线程池。

创建线程池

首先，我们需要导入 concurrent.futures 模块，并创建一个 ThreadPoolExecutor 实例：

from concurrent.futures import ThreadPoolExecutor

executor = ThreadPoolExecutor(max_workers=5)

这里，max_workers 参数指定了线程池中线程的最大数量。

向线程池提交任务

我们可以使用 submit 方法向线程池提交任务。这个方法会返回一个 Future 对象，表示异步执行的操作：

def task(n):
    print(f"Task {n} started")
    # 模拟任务执行时间
    import time
    time.sleep(1)
    print(f"Task {n} finished")
    return n

futures = [executor.submit(task, n) for n in range(10)]

等待任务完成

要等待所有任务完成，我们可以使用 concurrent.futures.wait 方法。这个方法会阻塞当前线程，直到所有任务完成或超时：

from concurrent.futures import wait

done, _ = wait(futures)
print("All tasks completed")

示例代码

下面是一个完整的示例，展示了如何使用 ThreadPoolExecutor 来执行并发任务：

from concurrent.futures import ThreadPoolExecutor, wait

def task(n):
    print(f"Task {n} started")
    import time
    time.sleep(1)
    print(f"Task {n} finished")
    return n

if __name__ == "__main__":
    executor = ThreadPoolExecutor(max_workers=5)
    futures = [executor.submit(task, n) for n in range(10)]

    done, _ = wait(futures)
    print("All tasks completed")

结语

通过使用 ThreadPoolExecutor，我们可以更高效地管理线程资源，实现任务的并发执行。这种方式不仅可以提高程序的执行效率，还可以简化线程管理的复杂性。在处理大量并发任务时，线程池是一个非常好的选择。