python批量读取根目录下所有文件夹再读取文件夹里所有csv文件

原创

mob64ca12e6f33c 2023-10-31 08:13:29 ©著作权

©著作权归作者所有：来自51CTO博客作者mob64ca12e6f33c的原创作品，请联系作者获取转载授权，否则将追究法律责任

Python批量读取根目录下所有文件夹再读取文件夹里所有CSV文件

在数据处理和分析过程中，我们经常需要读取多个文件夹下的多个CSV文件。Python提供了很多便捷的方法来实现这个目标。在本篇文章中，我们将介绍如何使用Python批量读取根目录下的所有文件夹，并进一步读取文件夹中的所有CSV文件。

步骤1：导入必要的模块

首先，我们需要导入一些必要的模块来帮助我们实现批量读取文件的功能。在这个案例中，我们使用os模块来处理文件和文件夹，使用pandas模块来读取CSV文件。

import os
import pandas as pd

步骤2：定义函数来递归读取文件夹

接下来，我们定义一个递归函数read_csv_files来读取指定文件夹下的所有CSV文件。这个函数将会遍历指定文件夹下的所有文件和子文件夹，并递归地读取CSV文件。

def read_csv_files(root_path):
    for root, dirs, files in os.walk(root_path):
        for file in files:
            if file.endswith(".csv"):
                file_path = os.path.join(root, file)
                df = pd.read_csv(file_path)
                # 在这里你可以对读取到的CSV文件进行处理
                # 例如，你可以将它们合并起来或者进行数据分析

步骤3：调用函数来读取文件夹

最后，我们可以调用read_csv_files函数来读取指定根目录下的所有文件夹和CSV文件。只需要传入根目录的路径即可。

root_path = "/path/to/root/folder"
read_csv_files(root_path)

完整示例代码:

import os
import pandas as pd

def read_csv_files(root_path):
    for root, dirs, files in os.walk(root_path):
        for file in files:
            if file.endswith(".csv"):
                file_path = os.path.join(root, file)
                df = pd.read_csv(file_path)
                # 在这里你可以对读取到的CSV文件进行处理
                # 例如，你可以将它们合并起来或者进行数据分析

root_path = "/path/to/root/folder"
read_csv_files(root_path)

使用这个示例代码，你可以轻松地批量读取根目录下的所有文件夹和CSV文件。你可以根据需要对读取到的CSV文件进行进一步的处理和分析。