python 读入指定路径文件下的csv文件

原创

mob64ca12f8a724 2024-07-19 03:51:49 ©著作权

©著作权归作者所有：来自51CTO博客作者mob64ca12f8a724的原创作品，请联系作者获取转载授权，否则将追究法律责任

Python 读入指定路径文件下的 CSV 文件

在数据分析和机器学习领域，CSV（Comma-Separated Values，逗号分隔值）文件是一种常见的数据存储格式。它以纯文本形式存储表格数据，每行表示一个数据记录，字段之间用逗号分隔。Python 提供了多种方法来读取和处理 CSV 文件，其中最常用的是 pandas 库。

本文将介绍如何使用 Python 读取指定路径下的 CSV 文件，并展示一些基本的数据处理操作。

安装 pandas 库

在开始之前，确保你已经安装了 pandas 库。如果还没有安装，可以通过以下命令安装：

pip install pandas

读取 CSV 文件

假设我们有一个名为 data.csv 的文件，位于路径 /path/to/data.csv。我们可以使用 pandas 的 read_csv 函数来读取这个文件。

import pandas as pd

# 指定 CSV 文件的路径
file_path = '/path/to/data.csv'

# 读取 CSV 文件
data = pd.read_csv(file_path)

# 打印数据的前几行，以检查是否正确读取
print(data.head())

基本数据处理

读取 CSV 文件后，我们可以对数据进行一些基本的处理，例如查看数据的统计信息、选择特定的列或行等。

# 查看数据的统计信息
print(data.describe())

# 选择特定的列
selected_columns = data[['column1', 'column2']]

# 选择特定的行
selected_rows = data[data['column1'] > 10]

数据清洗

在实际应用中，数据通常包含一些缺失值或异常值。我们可以使用 pandas 提供的方法来处理这些问题。

# 检查数据中的缺失值
print(data.isnull().sum())

# 填充缺失值
data.fillna(value=0, inplace=True)

# 删除包含缺失值的行
data.dropna(inplace=True)

数据可视化

为了更好地理解数据，我们可以将其可视化。pandas 与 matplotlib 库结合使用，可以方便地绘制图表。

import matplotlib.pyplot as plt

# 绘制数据的直方图
data['column1'].hist()
plt.show()

# 绘制数据的散点图
plt.scatter(data['column1'], data['column2'])
plt.show()

数据导出

处理完数据后，我们可能希望将结果导出到一个新的 CSV 文件中。

# 将处理后的数据导出到新的 CSV 文件
data.to_csv('/path/to/processed_data.csv', index=False)

关系图

为了更好地理解数据的结构，我们可以使用 mermaid 语法来绘制关系图。

erDiagram
    A ||--o| B : has
    B ||--| C : contains
    A {
        int id PK "id"
        string name "name"
    }
    B {
        int id PK "id"
        string title "title"
    }
    C {
        int id PK "id"
        string content "content"
    }