数据分析时，首先应对数据进行清洗，这里将数据清洗分为重复值处理、缺失值处理、异常值处理三个部分，重复值处理可删除重复的字段，缺失值处理可以用线性插值、填充为0或用均值填充等，异常值处理用描述性分析、散点图、箱形图、直方图查找异常并处理。
本文使用超市商品交易数据，详细介绍重复值处理、缺失值处理、异常值处理的方法，并实际运用数据进行演示，代码操作如下所示。
#导入数据import pandas as pddf=pd.read_csv(r"C:\Users\尚天强\Desktop\超市商品交易.csv",engine="python",encoding="utf-8-sig")df.head()
重复值处理
首先对重复值计数。
df.duplicated().value_counts()
用drop_duplicates的方法对某几列下面的重复行删除，subset:以某列作为基准列，判断是否重复；keep: 保留哪个字段，fisrt参数保留首次出现的数值；inplace: 是否替换当前数据，True选择替换当前数据。
df.drop_duplicates(subset=["商品码"],keep='first',inplace=True)df.duplicated().value_counts()
缺失值处理
通过isnull函数看一下是否有空值，结果是有空值的地方显示为True，没有的显示为False。
df.head(11).isnull()
使用info查看各个字段的属性，标记的部分为缺失的部分。
df.info()
通过isnull().any()查看每一列是否有空值，True返回缺失值。
df.isnull().any()
用df.isnull().values==True来定位哪几行是有空值的。
df[df.isnull().values==True]
how='any'只要有一个缺失值就删除，axis=0，删除的是行，默认删除的是行，inplace=True替换原始数据。
df.dropna(how='any', axis=0,inplace=True)df.info()
fillna(0)用0对缺失值进行填充。
df1=df[df.isnull().values==True]df1.fillna(0)
limit用来限定填充的数量。
df1.fillna(0,limit=3)
{ }对不同的列填充不同的值，其中键作为列，值作为缺失值填充的值。
df1.fillna({"售价":0 ,"成交价":0 ,"进价": "#N/A"})
method方法使用ffill，表示用前一个值作为填充的值。
df1.fillna(method="ffill")
median方法使用中位数的值进行填充。
df1.fillna(df1.median())
interpolate表示线性插值。
df[df.isnull().values==True].interpolate() #线性插值
异常值处理
describe( )对统计字段进行描述性分析，从平均值、标准差，看数据的波动情况，最大值查看数据的极值。
df[['售价','进价']].describe()
做出散点图，查看数据中异常的点，图中标记的点就是异常的点。
from matplotlib import pyplot as pltplt.rcParams["font.sans-serif"]='SimHei' #解决中文乱码问题plt.scatter(df["售价"], df["进价"])plt.title("散点图",loc = "center")plt.show()
做出箱线图，反映原始数据分布的特征。
plt.subplot(1,2,1)plt.boxplot(df["数量"],labels = ["数量"])plt.subplot(1,2,2)plt.boxplot(df["售价金额"],labels = ["售价金额"])plt.show()
做售价金额的折线图，售价金额呈波动趋势。
plt.plot(df["售价金额"])
用箱形图的办法，超过了上四分位1.5倍四分位距或下四分位1.5倍距离都算异常值，用中位数填充。
import numpy as npa = df["售价金额"].quantile(0.75)b = df["售价金额"].quantile(0.25)c = df["售价金额"]c[(c>=(a-b)*1.5+a)|(c<=b-(a-b)*1.5)]=np.nanc.fillna(c.median(),inplace=True)c.describe()
用标准差和均值，定义超过4倍就算异常值，同样用中位数填充。
a = df["售价金额"].mean()+df["售价金额"].std()*4b = df["售价金额"].mean()-df["售价金额"].std()*4c = df["售价金额"]c[(c>=a)|(c<=b)]=np.nanc.fillna(c.median(),inplace=True)c.describe()
正态性检验，发现售价金额呈右偏分布，表明售价金额并不是正态分布。
import seaborn as snssns.distplot(df['售价金额'])#解决负号无法正常显示问题plt.rcParams["axes.unicode_minus"]= Falseplt.show()
