python批量处理csv并批量输出

原创

mob64ca12f7e7cf 2024-10-26 04:49:21 ©著作权

文章标签 CSV Python python 文章分类 Python 后端开发

©著作权归作者所有：来自51CTO博客作者mob64ca12f7e7cf的原创作品，请联系作者获取转载授权，否则将追究法律责任

Python批量处理CSV并批量输出

在数据分析和数据处理的领域中，CSV（逗号分隔值）文件是一种常见的数据格式。由于其易于读取和写入，CSV被广泛应用于不同的数据科学项目中。当我们需要处理多个CSV文件时，Python提供了强大的功能来简化这个过程。本文将介绍如何使用Python批量处理CSV文件并输出结果，提供代码示例以帮助大家更好地理解。

一、为什么选择Python？

Python是一种非常流行的编程语言，拥有丰富的库和框架，使得数据处理变得高效且简单。尤其是pandas库，使得操作CSV文件如同操作数据库表格一样容易。因此，Python是处理和分析CSV文件的理想选择。

二、环境准备

首先，我们需要安装pandas库。可以通过以下命令进行安装：

pip install pandas

确保环境中还安装了numpy库，因为有些数据处理可能需要用到它。

pip install numpy

三、批量读取CSV文件

假设我们有一组CSV文件存放在一个文件夹中，我们可以使用以下代码读取这些文件。首先，我们需要导入相关库：

import pandas as pd
import os

接下来，定义一个函数来读取指定路径下的所有CSV文件并合并为一个DataFrame：

def load_csv_files(directory):
    csv_files = [f for f in os.listdir(directory) if f.endswith('.csv')]
    dataframes = []
    
    for file in csv_files:
        df = pd.read_csv(os.path.join(directory, file))
        dataframes.append(df)
    
    return pd.concat(dataframes, ignore_index=True)

在这个函数中，我们首先获取目录下所有以.csv结尾的文件名，然后逐个读取并存储到一个列表中，最后通过pd.concat将所有DataFrame合并为一个大的DataFrame。

四、数据处理

一旦我们得到了合并后的DataFrame，就可以开始数据处理。例如，我们可以进行数据清洗、去重、填补缺失值等操作。以下是一些常见的操作示例：

4.1 去重

df_unique = df.drop_duplicates()

4.2 填补缺失值

df_filled = df.fillna(method='ffill')

4.3 基于条件筛选数据

df_filtered = df[df['column_name'] > value]

在这里，'column_name'表示你感兴趣的列名，value是筛选的条件。

五、批量输出CSV文件

处理完数据后，我们可能希望将结果保存到新CSV文件中。可以使用以下代码将处理后的DataFrame输出为多个CSV文件：

def save_to_csv(dataframe, output_directory, prefix='output_'):
    if not os.path.exists(output_directory):
        os.makedirs(output_directory)

    split_size = 1000  # 每个CSV文件的最大行数
    for i in range(0, len(dataframe), split_size):
        dataframe[i:i+split_size].to_csv(os.path.join(output_directory, f"{prefix}{i//split_size + 1}.csv"), index=False)

在这个函数中，我们设置了一个分割大小（比如1000行），以便将大文件拆分成多个小文件。使用to_csv方法，我们可以将分割后的DataFrame输出为新的CSV文件。

六、完整示例

下面是一个完整的处理流程的示例，包括读取、处理和输出CSV文件：

import pandas as pd
import os

def load_csv_files(directory):
    csv_files = [f for f in os.listdir(directory) if f.endswith('.csv')]
    dataframes = []
    
    for file in csv_files:
        df = pd.read_csv(os.path.join(directory, file))
        dataframes.append(df)
    
    return pd.concat(dataframes, ignore_index=True)

def save_to_csv(dataframe, output_directory, prefix='output_'):
    if not os.path.exists(output_directory):
        os.makedirs(output_directory)

    split_size = 1000
    for i in range(0, len(dataframe), split_size):
        dataframe[i:i+split_size].to_csv(os.path.join(output_directory, f"{prefix}{i//split_size + 1}.csv"), index=False)

# 主流程
input_directory = 'input_directory_path'  # 输入目录路径
output_directory = 'output_directory_path'  # 输出目录路径

df = load_csv_files(input_directory)
df_unique = df.drop_duplicates()
df_filled = df.fillna(method='ffill')
save_to_csv(df_filled, output_directory)