python 读取大量有规律文件

原创

mob649e815e258d 2023-11-17 17:58:39 ©著作权

©著作权归作者所有：来自51CTO博客作者mob649e815e258d的原创作品，请联系作者获取转载授权，否则将追究法律责任

Python读取大量有规律文件

在数据分析和处理的过程中，我们经常会遇到需要读取大量有规律的文件的情况。例如，我们可能需要读取多个CSV文件，它们的结构相同，只是数据不同。对于手动一个个打开文件进行读取和处理的方式来说，这是一项枯燥且低效的任务。幸运的是，Python提供了强大的工具和库来帮助我们自动化这个过程。

使用os模块遍历文件夹

首先，我们需要获取到待处理文件所在的文件夹路径。Python的os模块提供了一系列用于操作操作系统的函数和方法。我们可以使用os模块中的listdir函数来获取指定路径下的所有文件和文件夹。

import os

folder_path = "path/to/folder"
files = os.listdir(folder_path)

listdir函数返回一个包含文件名和文件夹名的列表。我们可以通过循环遍历这个列表，对每个文件进行操作。

使用pandas库读取CSV文件

对于CSV文件，我们可以使用Python的pandas库来读取和处理。pandas是一个强大的数据分析工具，它提供了高效、灵活的数据结构和数据分析功能。

首先，我们需要导入pandas库。

import pandas as pd

然后，我们可以使用pandas的read_csv函数来读取CSV文件。

data = pd.read_csv(file_path)

read_csv函数将CSV文件读取为一个名为data的DataFrame对象。DataFrame是pandas中一种常用的数据结构，类似于表格，可以方便地进行数据处理和分析。

处理多个文件的数据

在实际应用中，我们往往需要处理多个文件的数据。我们可以使用之前提到的文件遍历方法，对每个文件进行操作，然后将结果合并起来。

下面是一个示例，假设我们有一个存储了多个城市气温的文件夹，文件名格式为city_temperature_{city}.csv，其中{city}是城市的名称。

import os
import pandas as pd

folder_path = "path/to/folder"
files = os.listdir(folder_path)

result = pd.DataFrame()  # 用于存储合并后的结果

for file_name in files:
    if file_name.endswith(".csv"):
        file_path = os.path.join(folder_path, file_name)
        city = file_name.replace("city_temperature_", "").replace(".csv", "")
        
        data = pd.read_csv(file_path)
        data["City"] = city  # 添加城市列
        result = pd.concat([result, data])

result.to_csv("combined_data.csv", index=False)

上述代码首先创建了一个空的DataFrame对象result，用于存储合并后的数据。然后，通过遍历文件列表，对每个文件进行处理。在读取每个文件的数据后，我们通过replace函数从文件名中提取出城市名称，然后将其添加为新的一列。最后，使用concat函数将每个文件的数据合并到result中。最终，我们可以将合并后的数据保存为一个新的CSV文件。