Pandas 七:对缺失值的处理
- 实例:特殊Excel的读取、清洗、处理
- 步骤1:读取excel的时候,忽略前几个空行
- 步骤2:检测空值
- 步骤4:删除掉全是空值的行
- 步骤5:将分数列为空的填充为0分
- 步骤6:将姓名的缺失值填充
- 步骤7:将清洗好的excel保存
Pandas使用这些函数处理缺失值:
isnull和notnull:检测是否是空值,可用于df和series
dropna:丢弃、删除缺失值
- axis : 删除行还是列,{0 or ‘index’, 1 or ‘columns’}, default 0
- how : 如果等于any则任何值为空都删除,如果等于all则所有值都为空才删除
- inplace : 如果为True则修改当前df,否则返回新的df
fillna:填充空值
- value:用于填充的值,可以是单个值,或者字典(key是列名,value是值)
- method : 等于ffill使用前一个不为空的值填充forword fill;等于bfill使用后一个不为空的值填充backword fill
- axis : 按行还是列填充,{0 or ‘index’, 1 or ‘columns’}
- inplace : 如果为True则修改当前df,否则返回新的df
1
import pandas as pd
No output
实例:特殊Excel的读取、清洗、处理
步骤1:读取excel的时候,忽略前几个空行
2
studf = pd.read_excel("./datas/student_excel/student_excel.xlsx", skiprows=2)
No output
3
studf
3
Unnamed: 0 姓名 科目 分数
0 NaN 小明 语文 85.0
1 NaN NaN 数学 80.0
2 NaN NaN 英语 90.0
3 NaN NaN NaN NaN
4 NaN 小王 语文 85.0
5 NaN NaN 数学 NaN
6 NaN NaN 英语 90.0
7 NaN NaN NaN NaN
8 NaN 小刚 语文 85.0
9 NaN NaN 数学 80.0
10 NaN NaN 英语 90.0
步骤2:检测空值
4
studf.isnull()
4
Unnamed: 0 姓名 科目 分数
0 True False False False
1 True True False False
2 True True False False
3 True True True True
4 True False False False
5 True True False True
6 True True False False
7 True True True True
8 True False False False
9 True True False False
10 True True False False
5
studf["分数"].isnull()
5
0 False
1 False
2 False
3 True
4 False
5 True
6 False
7 True
8 False
9 False
10 False
Name: 分数, dtype: bool
6
studf["分数"].notnull()
6
0 True
1 True
2 True
3 False
4 True
5 False
6 True
7 False
8 True
9 True
10 True
Name: 分数, dtype: bool
7
# 筛选没有空分数的所有行
studf.loc[studf["分数"].notnull(), :]
7
Unnamed: 0 姓名 科目 分数
0 NaN 小明 语文 85.0
1 NaN NaN 数学 80.0
2 NaN NaN 英语 90.0
4 NaN 小王 语文 85.0
6 NaN NaN 英语 90.0
8 NaN 小刚 语文 85.0
9 NaN NaN 数学 80.0
10 NaN NaN 英语 90.0
步骤3:删除掉全是空值的列
8
studf.dropna(axis="columns", how='all', inplace=True)
9
studf
9
姓名 科目 分数
0 小明 语文 85.0
1 NaN 数学 80.0
2 NaN 英语 90.0
3 NaN NaN NaN
4 小王 语文 85.0
5 NaN 数学 NaN
6 NaN 英语 90.0
7 NaN NaN NaN
8 小刚 语文 85.0
9 NaN 数学 80.0
10 NaN 英语 90.0
步骤4:删除掉全是空值的行
10
studf.dropna(axis="index", how='all', inplace=True)
No output
11
studf
11
姓名 科目 分数
0 小明 语文 85.0
1 NaN 数学 80.0
2 NaN 英语 90.0
4 小王 语文 85.0
5 NaN 数学 NaN
6 NaN 英语 90.0
8 小刚 语文 85.0
9 NaN 数学 80.0
10 NaN 英语 90.0
步骤5:将分数列为空的填充为0分
12
studf.fillna({"分数":0})
12
姓名 科目 分数
0 小明 语文 85.0
1 NaN 数学 80.0
2 NaN 英语 90.0
4 小王 语文 85.0
5 NaN 数学 0.0
6 NaN 英语 90.0
8 小刚 语文 85.0
9 NaN 数学 80.0
10 NaN 英语 90.0
13
# 等同于
studf.loc[:, '分数'] = studf['分数'].fillna(0)
No output
14
studf
14
姓名 科目 分数
0 小明 语文 85.0
1 NaN 数学 80.0
2 NaN 英语 90.0
4 小王 语文 85.0
5 NaN 数学 0.0
6 NaN 英语 90.0
8 小刚 语文 85.0
9 NaN 数学 80.0
10 NaN 英语 90.0
步骤6:将姓名的缺失值填充
使用前面的有效值填充,用ffill:forward fill
15
studf.loc[:, '姓名'] = studf['姓名'].fillna(method="ffill")
No output
16
studf
16
姓名 科目 分数
0 小明 语文 85.0
1 小明 数学 80.0
2 小明 英语 90.0
4 小王 语文 85.0
5 小王 数学 0.0
6 小王 英语 90.0
8 小刚 语文 85.0
9 小刚 数学 80.0
10 小刚 英语 90.0
步骤7:将清洗好的excel保存
17
studf.to_excel("./datas/student_excel/student_excel_clean.xlsx", index=False)
No output