python 多进程不同文件夹

原创

mob64ca12d3dbd9 2023-09-11 10:27:38 ©著作权

文章标签 多进程 Python 并行处理 文章分类 Python 后端开发

©著作权归作者所有：来自51CTO博客作者mob64ca12d3dbd9的原创作品，请联系作者获取转载授权，否则将追究法律责任

Python多进程-不同文件夹

在Python中，多进程是一种并行处理的方式，可以利用计算机的多个核心来同时执行多个任务。在实际应用中，多进程通常用于加速计算密集型任务或者同时处理多个任务。

本文将介绍如何使用Python多进程处理不同文件夹中的任务，并提供相应的代码示例。

1. 多进程概述

在操作系统中，进程是指正在运行的程序的实例。Python的multiprocessing模块提供了对多进程的支持，可以使用该模块创建和管理多个进程。

多进程的优势在于可以充分利用多核处理器的性能，同时执行多个任务，加快程序的执行速度。

2. 多进程处理不同文件夹的任务

假设我们有一个任务，需要对不同文件夹中的图片进行处理，并将处理结果保存到指定文件夹中。我们可以使用多进程来同时处理不同文件夹中的图片，提高处理速度。

2.1. 遍历文件夹

首先，我们需要遍历指定的文件夹，获取所有需要处理的图片文件路径。

import os

def get_image_paths(folder_path):
    image_paths = []
    for root, dirs, files in os.walk(folder_path):
        for file in files:
            if file.endswith(".jpg") or file.endswith(".png"):
                image_paths.append(os.path.join(root, file))
    return image_paths

上述代码使用os.walk函数遍历文件夹，获取所有后缀为.jpg或.png的图片文件路径，并将其保存在一个列表中。

2.2. 多进程处理任务

接下来，我们使用多进程来并行处理不同文件夹中的图片。首先，需要导入multiprocessing模块中的Process类。

from multiprocessing import Process

然后，我们定义一个处理图片的函数，该函数接收一个图片路径作为参数，并执行相应的处理操作。

def process_image(image_path):
    # 图片处理操作
    pass

接下来，我们使用多进程来并行处理不同文件夹中的图片。

if __name__ == "__main__":
    folder_paths = ["folder1", "folder2", "folder3"]  # 不同文件夹路径
    processes = []
    
    for folder_path in folder_paths:
        image_paths = get_image_paths(folder_path)
        for image_path in image_paths:
            p = Process(target=process_image, args=(image_path,))
            processes.append(p)
            p.start()
    
    for p in processes:
        p.join()

上述代码创建了多个进程，并分别处理不同文件夹中的图片。使用Process类的target参数指定处理图片的函数，使用args参数传递图片路径。

最后，使用join方法等待所有进程结束。