使用正则表达式在 Python DataFrame 中进行筛选

在数据科学和数据分析中，使用 Python 的 Pandas 库对数据进行处理和分析是一项基本技能。Pandas 提供了强大的 DataFrame 结构，使得数据操作变得非常方便。而在数据处理中，有时我们需要根据特定模式筛选数据，这时正则表达式（Regex）就派上用场了。本文将介绍如何在 Python DataFrame 中使用正则表达式进行筛选，并通过具体代码示例进行解释。

正则表达式简介

正则表达式是一个字符串，用于描述文本模式。它能够帮助我们在字符串中查找特定的字符组合，例如电子邮件地址、电话号码等。通过使用正则表达式，我们可以高效而准确地处理和筛选数据。

使用 Pandas 筛选数据

安装并导入必要的库

首先，需要确保已安装 Pandas 库。如果尚未安装，可以使用 pip 安装：

pip install pandas

接下来，导入 Pandas 库：

import pandas as pd
import re

创建示例 DataFrame

让我们创建一个简单的 DataFrame 以便于演示：

data = {
    'Name': ['Alice', 'Bob', 'Charlie', 'David', 'Eva'],
    'Email': ['alice@example.com', 'bob@sample.net', 'charlie@custom.org', 'david@example.com', 'eva@sample.org'],
    'Age': [23, 30, 22, 32, 29]
}

df = pd.DataFrame(data)
print(df)

输出结果为：

      Name                Email  Age
0    Alice     alice@example.com   23
1      Bob       bob@sample.net   30
2  Charlie   charlie@custom.org   22
3    David     david@example.com   32
4      Eva     eva@sample.org     29

使用正则表达式筛选数据

我们现在使用正则表达式来筛选电子邮件中包含“@example.com”的行。可以借助 Pandas 的 str.contains() 方法实现：

filtered_df = df[df['Email'].str.contains(r'@example\.com$', na=False)]
print(filtered_df)

在这个例子中，正则表达式 @example\.com$ 表示字符串以 @example.com 结尾。通过运行代码，我们将得到以下结果：

    Name                Email  Age
0  Alice     alice@example.com   23
3  David     david@example.com   32

理解正则表达式与 DataFrame 关系

在使用 Pandas 筛选数据时，正则表达式可以极大地简化操作。通过以下 ER 图，我们可以更直观地理解数据处理的关系。

erDiagram
    DATA {
        string Name
        string Email
        int Age
    }
    PROCESS {
        string RegexPattern
        string FilteredData
    }
    DATA ||--o{ PROCESS : processes

数据处理的时间计划

在数据科学项目中，合理的时间安排是非常重要的。下面展示如何使用 Gantt 图来规划我们的数据处理任务。

gantt
    title 数据处理计划
    dateFormat  YYYY-MM-DD
    section 数据准备
    数据收集         :a1, 2023-10-01, 5d
    数据清洗         :after a1  , 10d
    section 数据分析
    特征选择         :2023-10-15  , 5d
    数据筛选         :after a2  , 5d
    section 结果展示
    结果可视化       :2023-10-30  , 5d

结论

正则表达式作为一种强大的文本处理工具，可以与 Pandas 库结合使用，帮助数据科学家们高效地筛选和分析数据。通过本文中的示例和图表，希望能帮助读者更好地理解如何在 Python DataFrame 中应用正则表达式。掌握这些基本技能，将为你的数据处理和分析工作打下坚实的基础。