插入数据

pandas模块没有专门提供插入行的方法
插入数据主要是指插入一列新的数据

方法一

以赋值的方式在数据表的最右侧插入列数据

import pandas as pd
a = pd.read_excel('test.xlsx',sheet_name=0)
print(a)
print('--------------')
a['学号'] = ['01','02','03','04']
print(a)

Python数据分析-pandas-数据处理_数据

方法二

用insert()函数在数据表的指定位置插入列数据
第1个参数为插入列的位置;第2个参数为插入列的列标签;第3个参数以列表的形式给出插入列的数据。

import pandas as pd
a = pd.read_excel('test.xlsx',sheet_name=0)
print(a)
print('--------------')
a.insert(0,'学号',['01','02','03','04'])
print(a)

Python数据分析-pandas-数据处理_缺失值_02

删除数据

删除列

drop()函数中直接给出要删除的列的列标签就可以删除列

import pandas as pd
a = pd.read_excel('test.xlsx',sheet_name=0)
print(a)
print('--------------')
a = a.drop(['专业','学费'],axis=1)
print(a)

Python数据分析-pandas-数据处理_python_03第1个参数以列表的形式给出要删除的行或列的标签;第2个参数axis用于设置按行删除还是按列删除,设置为0表示按行删除(即第1个参数中给出的标签是行标签),设置为1表示按列删除(即第1个参数中给出的标签是列标签)。

通过列序号来获取列标签,然后作为drop()函数的第1个参数使用

import pandas as pd
a = pd.read_excel('test.xlsx',sheet_name=0)
print(a)
print('--------------')
a = a.drop(a.columns[[2,3]],axis=1)
print(a)

Python数据分析-pandas-数据处理_python_04
通过将列标签以列表的形式传递给drop()函数的参数columns来删除列

import pandas as pd
a = pd.read_excel('test.xlsx',sheet_name=0)
print(a)
print('--------------')
a = a.drop(columns=['班级','专业'])
print(a)

Python数据分析-pandas-数据处理_python_05

删除行

drop()函数,只不过需要将参数axis设置为0

import pandas as pd
a = pd.read_excel('test.xlsx',sheet_name=0)
print(a)
print('--------------')
a = a.drop([0,1],axis=0)
print(a)

Python数据分析-pandas-数据处理_数据分析_06
通过行序号来获取行标签

import pandas as pd
a = pd.read_excel('test.xlsx',sheet_name=0)
print(a)
print('--------------')
a = a.drop(a.index[[0,3]],axis=0)
print(a)

Python数据分析-pandas-数据处理_数据_07

处理缺失值

查看缺失值

Python数据分析-pandas-数据处理_python_08

import pandas as pd
a = pd.read_excel('test.xlsx',sheet_name=0)
print(a)

Python数据分析-pandas-数据处理_缺失值_09
查看每一列的缺失值情况

import pandas as pd
a = pd.read_excel('test.xlsx',sheet_name=0)
print(a)
print('--------------')
print(a.info())

Python数据分析-pandas-数据处理_数据_10
使用isnull()函数判断数据表中的哪个值是缺失值

import pandas as pd
a = pd.read_excel('test.xlsx',sheet_name=0)
print(a)
print('--------------')
a = a.isnull()
print(a)

Python数据分析-pandas-数据处理_python_11

删除缺失值

使用dropna()函数可以删除数据表中含有缺失值的行,默认只要某一行中有缺失值,该函数就把这一行删除

import pandas as pd
a = pd.read_excel('test.xlsx',sheet_name=0)
print(a)
print('--------------')
a = a.dropna()
print(a)

Python数据分析-pandas-数据处理_数据_12
只想删除整行都为缺失值的行,则需要为dropna()函数设置参数how的值为’all’

import pandas as pd
a = pd.read_excel('test.xlsx',sheet_name=0)
print(a)
print('--------------')
a = a.dropna(how='all')
print(a)

Python数据分析-pandas-数据处理_缺失值_13

缺失值的填充

fillna()函数可以将数据表中的所有缺失值填充为指定的值

import pandas as pd
a = pd.read_excel('test.xlsx',sheet_name=0)
print(a)
print('--------------')
a = a.fillna('a')
print(a)

Python数据分析-pandas-数据处理_缺失值_14
通过为fillna()函数传入一个字典,为不同列中的缺失值设置不同的填充值

import pandas as pd
a = pd.read_excel('test.xlsx',sheet_name=0)
print(a)
print('--------------')
a = a.fillna({'姓名':'a','学费':4000})
print(a)

Python数据分析-pandas-数据处理_数据_15

处理重复值

删除重复行

drop_duplicates()函数,无须设置任何参数

import pandas as pd
a = pd.read_excel('test.xlsx',sheet_name=0)
print(a)
print('--------------')
a = a.drop_duplicates()
print(a)

Python数据分析-pandas-数据处理_列表_16

删除某一列中的重复值

drop_duplicates()函数添加参数subset,并设置该参数的值为要处理的列的标签

import pandas as pd
a = pd.read_excel('test.xlsx',sheet_name=0)
print(a)
print('--------------')
a = a.drop_duplicates(subset='姓名')
print(a)

Python数据分析-pandas-数据处理_数据分析_17keep设置为’first’,表示保留第一个重复值所在的行
keep设置为’last’ 保留最后一个重复值所在的行

import pandas as pd
a = pd.read_excel('test.xlsx',sheet_name=0)
print(a)
print('--------------')
b = a.drop_duplicates(subset='姓名',keep='first')
print(b)
c = a.drop_duplicates(subset='姓名',keep='last')
print(c)

Python数据分析-pandas-数据处理_列表_18

keep设置为False,表示把重复值一个不留地全部删除

import pandas as pd
a = pd.read_excel('test.xlsx',sheet_name=0)
print(a)
print('--------------')
b = a.drop_duplicates(subset='姓名',keep=False)
print(b)

Python数据分析-pandas-数据处理_数据_19

排序数据

sort_values()函数排序数据

参数ascending为True,表示升序排序
参数ascending为False,表示升序排序

import pandas as pd
a = pd.read_excel('test.xlsx',sheet_name=0)
print(a)
print('--------------')
b = a.sort_values(by='学费',ascending=True)
print(b)
print('--------------')
c = a.sort_values(by='学费',ascending=False)
print(c)

Python数据分析-pandas-数据处理_数据分析_20

用rank()函数获取数据的排名

import pandas as pd
a = pd.read_excel('test.xlsx',sheet_name=0)
print(a)
print('--------------')
b = a['学费'].rank(method = 'first',ascending=False)
print(b)
print('--------------')
c = a['学费'].rank(method = 'average',ascending=False)
print(c)

Python数据分析-pandas-数据处理_python_21
参数method设置为’first’,则表示在数据有重复值时,越先出现的数据排名越靠前
参数method设置为’average’,表示在数据有重复值时,返回重复值的平均排名

筛选数据

import pandas as pd
a = pd.read_excel('test.xlsx',sheet_name=0)
print(a)
print('--------------')
b = a[a['学费'] < 5000]
print(b)
print('--------------')
c = a[(a['学费'] < 5000) & (a['班级'] == '02班')]
print(c)

Python数据分析-pandas-数据处理_数据分析_22

进行多条件筛选,并且这些条件之间是“逻辑与”的关系,可以用“&”符号连接多个筛选条件。
进行多条件筛选,并且这些条件之间是“逻辑或”的关系,可以用“|”符号连接多个筛选条件
注意:每个条件要分别用括号括起来。