Python多进程分块读取超大文件的方法 python多进程处理文件

转载

mob64ca13ffd0f1 2023-09-24 09:09:02

文章标签 python 开发语言进程池多进程编程 Python 文章分类 Python 后端开发

Python中的多进程编程

Python是一种支持多进程编程的语言。多进程编程是指在同一时间内运行多个进程的编程技术。使用多进程编程可以加速程序的运行速度，同时也可以提高程序的稳定性。下面介绍一些Python中的多进程编程相关的概念和技术。

一、进程(Process)和线程(Thread)

进程(Process)是指正在运行的程序。每个进程都有自己独立的内存空间和系统资源。线程(Thread)是进程内的一个执行单元，每个进程可以包含多个线程。线程与进程的最大区别在于，线程共享进程的内存空间和系统资源，因此线程之间的通信和数据交换更加方便，但同时也更加容易出现线程安全问题。

二、多进程模块(multiprocessing)

Python中的多进程模块(multiprocessing)提供了一种方便的方式来创建和管理进程。multiprocessing模块通过Process类来创建进程对象。下面是一个简单的例子：

# 导入multiprocessing模块
import multiprocessing

# 定义一个worker函数，该函数将在进程中执行
def worker():
    print('Worker')

# 如果当前文件是主程序，执行以下代码
if __name__ == '__main__':
    # 创建一个进程对象，将worker函数作为参数传递给进程对象
    p = multiprocessing.Process(target=worker)
    # 启动进程
    p.start()
    # 等待进程执行完毕
    p.join()

在这个例子中，我们首先导入了multiprocessing模块。然后定义了一个worker函数，该函数将在进程中执行。在主程序中，我们创建了一个进程对象p，并将worker函数作为参数传递给进程对象。然后我们启动进程，等待进程执行完毕。

三、进程间通信(IPC)

由于多个进程之间是相互独立的，因此它们之间无法直接共享内存空间和系统资源。为了实现进程间的通信和数据交换，需要使用一些IPC(inter-process communication)技术。Python中的multiprocessing模块提供了多种IPC技术，包括Pipe、Queue、Value和Array等。下面是一个使用Queue实现进程间通信的例子：

# 导入multiprocessing模块
import multiprocessing

# 定义一个worker函数，该函数将从队列中获取消息
def worker(q):
    message = q.get()
    print('Worker received message:', message)

# 如果当前文件是主程序，执行以下代码
if __name__ == '__main__':
    # 创建一个Queue对象
    q = multiprocessing.Queue()
    # 创建一个进程对象p，并将q作为参数传递给worker函数
    p = multiprocessing.Process(target=worker, args=(q,))
    # 启动进程
    p.start()

    # 在主程序中，向q中放入一条消息'Hello'
    q.put('Hello')
    # 等待进程执行完毕
    p.join()

在这个例子中，我们首先创建了一个Queue对象q。然后我们创建了一个进程对象p，并将q作为参数传递给worker函数。在主程序中，我们向q中放入了一条消息’Hello’。在进程中，我们使用q.get()方法从队列中获取消息。

四、进程池(Pool)

多个进程之间的创建和管理可能会比较复杂，为了简化这个过程，Python中提供了进程池(Pool)这个概念。进程池是一个包含多个进程的集合。使用进程池可以方便地管理多个进程的创建和销毁。下面是一个使用进程池实现并行计算的例子：

# 导入multiprocessing模块和time模块
import multiprocessing
import time

# 定义一个worker函数，该函数将在进程中执行
def worker(num):
    time.sleep(1)
    return num * num

# 如果当前文件是主程序，执行以下代码
if __name__ == '__main__':
    start_time = time.time()

    # 使用multiprocessing.Pool创建一个进程池对象pool，指定进程数为4
    with multiprocessing.Pool(processes=4) as pool:
        # 使用pool.map()方法将worker函数应用于列表[1, 2, 3, 4, 5]中的每个元素
        results = pool.map(worker, [1, 2, 3, 4, 5])

    end_time = time.time()

    # 输出结果和运行时间
    print('Results:', results)
    print('Time:', end_time - start_time)

在这个例子中，我们首先定义了一个worker函数，该函数将在进程中执行。在主程序中，我们使用multiprocessing.Pool创建了一个进程池对象pool。然后我们使用pool.map()方法将worker函数应用于列表[1, 2, 3, 4, 5]中的每个元素。最后，我们输出了结果和运行时间。

五、例子：多进程复制文件

下面是一个使用进程池实现多文件复制的例子：

import os
import shutil
from multiprocessing import Pool

def copy_file(src_file, dst_dir):
    """复制文件"""
    file_name = os.path.basename(src_file)
    dst_file = os.path.join(dst_dir, file_name)
    shutil.copy2(src_file, dst_file)
    print(f'Copied {src_file} to {dst_file}')

if __name__ == '__main__':
    # 源文件夹路径
    src_dir = 'path/to/source/directory'
    # 目标文件夹路径
    dst_dir = 'path/to/destination/directory'
    # 使用multiprocessing.Pool创建一个进程池对象pool，指定进程数为4
    with Pool(processes=4) as pool:
        # 获取源文件夹中的所有文件
        file_list = [os.path.join(src_dir, file) for file in os.listdir(src_dir)]
        # 使用pool.apply_async()方法将copy_file函数应用于文件列表中的每个文件
        for file in file_list:
            pool.apply_async(copy_file, args=(file, dst_dir))
        # 等待所有进程执行完毕
        pool.close()
        pool.join()
    print('All files copied successfully.')

在这个例子中，我们定义了一个copy_file函数，该函数用于复制文件。在主程序中，我们首先指定源文件夹路径src_dir和目标文件夹路径dst_dir。然后我们使用multiprocessing.Pool创建了一个进程池对象pool。在for循环中，我们使用pool.apply_async()方法将copy_file函数应用于文件列表中的每个文件。最后，我们等待所有进程执行完毕，输出“所有文件成功复制”的消息。