pandas dataframe简介

Pandas是一个用于数据科学的开源Python库。这个库在整个数据科学行业被广泛使用。它是一个快速和非常强大的python工具来执行数据分析。Pandas为我们提供了读取、过滤、检查、操作、分析和绘制数据的命令。它使用内置函数加载以各种文件格式存储的数据,如csv, json, text等,作为pandas数据框架结构。

pandas dataframe是一种和excel一样的表格结构。它是一种二维数据结构,由行和列形式的数据组成。此库用于对数据进行分组、聚合、清理和过滤。它允许我们创建原始数据集的子集。

在使用它之前,首先要通过命令

pip3 install pandas

来安装pandas。

使用时,就可以通过

import pandas as pd

来引用pandas。

在进入具体的分析之前,准备数据如下:

spark dataframe 过滤空字符串 dataframe过滤数据_示例代码

方法一,选择某一列或者某几列数据

调用方法: df [ [‘‘column name 1', ‘'column name 2’’] ]

根据上述数据选择Name和Age列,示例代码如下:

data_file = "F:\\1.xlsx"
test_info = pd.read_excel(data_file)
choose_by_column = test_info[['Name','Age']]
print(choose_by_column)

程序结果执行如下:

spark dataframe 过滤空字符串 dataframe过滤数据_pandas_02

方法二,根据行的索引选取几行数据

调用方法:df [start_index : end_index]

根据上述数据选择前5行数据,示例代码如下:

data_file = "F:\\1.xlsx"
test_info = pd.read_excel(data_file)
choosed_data = test_info[0:5]
print(choosed_data)

打印结果如下:

spark dataframe 过滤空字符串 dataframe过滤数据_示例代码_03

方法三,根据行与列的索引选取数据

调用方法:df.iloc [row index range, column index range]

示例代码如下:

data_file = "F:\\1.xlsx"
test_info = pd.read_excel(data_file)
choosed_data = test_info.iloc[1:5, 0:2]
print(choosed_data)

打印结果如下:

spark dataframe 过滤空字符串 dataframe过滤数据_数据_04

方法四,根据行列的索引选取具体某一列数据

调用方法:df.loc [row dataset index/labels, ‘column_name’]

示例代码如下:

data_file = "F:\\1.xlsx"
test_info = pd.read_excel(data_file)
choosed_data = test_info.loc[1:5, 'Name']
print(choosed_data)

打印结果如下:

spark dataframe 过滤空字符串 dataframe过滤数据_数据_05

方法五,根据某一列的值符合条件来过滤

调用方法:df [ (df[‘‘column name'] ==’column value’ )]

选出大于40岁的数据,示例代码如下:

data_file = "F:\\1.xlsx"
test_info = pd.read_excel(data_file)
choosed_data = test_info[test_info['Age']>40]
print(choosed_data)

打印结果如下:

spark dataframe 过滤空字符串 dataframe过滤数据_数据_06

如果是多个条件,可以使用逻辑操作符 & 和 |, 例如,选择大于40又小于60的:

choosed_data = test_info[(test_info['Age']>40) & (test_info['Age']<60)]

结果如下:

spark dataframe 过滤空字符串 dataframe过滤数据_pandas_07

使用loc函数也可以实现同样的效果:

调用方法:df.loc[(column name 1 >= column value) & (column name 2 >= column value)]

示例代码:

choosed_data = test_info.loc[(test_info['Age']>40) & (test_info['Age']<60)]

方法六,使用query方法

调用方法:df.query(column name >= column value )

示例代码如下:

data_file = "F:\\1.xlsx"
test_info = pd.read_excel(data_file)
choosed_data = test_info.query('Age>40')
print(choosed_data)

打印结果如下:

spark dataframe 过滤空字符串 dataframe过滤数据_示例代码_08

方法七,使用iat定位某一个具体的cell

调用方法: df.iat[row index, column index]

示例代码如下:

data_file = "F:\\1.xlsx"
test_info = pd.read_excel(data_file)
choosed_data = test_info.iat[5, 3]
print(choosed_data)

打印结果如下:

spark dataframe 过滤空字符串 dataframe过滤数据_pandas_09

方法八,根据列表条件选择

调用方法:df [ df[column name].isin([column value 1, column value 2])]

选择年龄是10的倍数的人,示例代码如下:

data_file = "F:\\1.xlsx"
test_info = pd.read_excel(data_file)
choosed_data = test_info[test_info['Age'].isin([10,20,30,40,50,60,70,80,90,100])]
print(choosed_data)

打印结果如下:

spark dataframe 过滤空字符串 dataframe过滤数据_数据_10

跟方法五一样,也可以通过df.loc[]实现同样的效果,这里就不举例了

方法九,根据字符串的值匹配进行过滤

调用方法:df = df[ df[column name].str.contains('characters$')]

示例代码如下:

data_file = "F:\\1.xlsx"
test_info = pd.read_excel(data_file)
choosed_data = test_info[test_info['Address'].str.contains('Address')]
print(choosed_data)

打印结果如下:

spark dataframe 过滤空字符串 dataframe过滤数据_pandas_11

如果出现错误 “ValueError: Cannot mask with non-boolean array containing NA / NaN values”,说明这一列有空值,可以先将空值使用DataFrame.fillna处理之后,再调用。

方法十,空值的过滤

调用方法:df.isnull()

示例代码如下:

data_file = "F:\\1.xlsx"
test_info = pd.read_excel(data_file)
choosed_data = test_info.isnull()
print(choosed_data)

打印结果如下:

spark dataframe 过滤空字符串 dataframe过滤数据_sed_12

可以根据打印结果知道哪一行的那一列的数据是空的。

接着就可以使用df.dropna(inplace=True)将空值删除。

示例代码如下:

data_file = "F:\\1.xlsx"
test_info = pd.read_excel(data_file)
choosed_data = test_info.isnull()
test_info.dropna(inplace=True)
print(test_info)

打印结果:

spark dataframe 过滤空字符串 dataframe过滤数据_pandas_13

可以看到最后一行的含有空值的行已经被删除了。