安装 pip3 install pandas
s=pd.Series([1,3,6,90,44,1]) #创建序列【用列表创建】。数据源的维度必须是一维
#data 指定数据源
print(s)
前面自动产生一个序号
s=pd.Series(data=np.arange(5,9),index=['语文','数学','物理','化学']) #创建序列[用numpy创建]
# index 指定索引
dic={'物理':87,'化学':67,'语文':77,'数学':54}
s=pd.Series(data=dic) #创建序列[用字典创建].
#不能使用index 字典中的key就是索引
s=pd.date_range(start='20170101',end='20170105') #生成一个日期时间索引
# start 指定开始时间； end 指定结束时间
s=pd.date_range(start='20170101',periods=4)
# periods 数据的个数
s=pd.date_range(start='20170101',periods=6,freq='2D')
#freq：日期偏移量，取值为string或DateOffset，默认为'D'
s=pd.date_range(start='20170101',end='20170110',freq='3D',name='dt')
# 对象的名称
s=pd.date_range(start='2017-01-01 08:10:50',periods=6,freq='s')
# 偏移量是 秒
s=pd.date_range(start='2017-01-01 08:10:50',periods=6,freq='s',normalize=True)
#normalize：若参数为True表示将start、end参数值正则化到午夜时间戳
s=pd.date_range(start='20170101',end='20170110',freq='3D')
s=pd.date_range(start='20170101',end='20170110',freq='3D',closed='left')
#顾左不顾右
与上图对比一下
s=pd.date_range(start='20170101',end='20170110',freq='3D',closed='right')
#closed='right' 顾右不顾左
与上面两图对比一下
q=pd.DataFrame(np.random.randn(4,4),index=list('ABCD'),columns=list('ABCD')) #创建数据表#DataFrame是Python中Pandas库中的一种数据结构，它类似excel，是一种二维表
#DataFrame是Python中Pandas库中的一种数据结构，它类似excel，是一种二维表
#DataFrame可以设置列名columns与行名index，可以通过位置获取数据也可以通过列名和行名定位
#第一个参数是存放在数据表里的数据 可以是：numpy的矩阵对象、字典、列表
#index就是设置行名 columns设置列明 可以省略
#后两个参数可以使用list输入，但是注意，这个list的长度要和DataFrame的大小匹配
s=pd.date_range(start='20170101',end='20170110',freq='3D')
q=pd.DataFrame(np.random.randn(4,4),index=s,columns=list('ABCD')) #创建数据表
# s 是date_range日期时间索引对象
dic1={'name':['小明','小红','狗蛋','铁柱'],'age':[17,20,5,40],'性别':['男','女','女','男']}
q=pd.DataFrame(dic1) #用字典创建数据表
#每个key的value代表一列，而key是这一列的列名
s=q.dtypes #返回各列的数据类型
q=pd.DataFrame(np.random.randn(6,6))
s=q.head(3) #返回数据表前n行数据
#参数 指定行数 默认5
s=q.tail(3) #返回数据表后n行数据
s=q.index #返回数据表的行名
s=q.columns #返回数据表的列名
s=q.values #返回数据表的数据
#返回值类型：numpy矩阵
s=q['B'].values #返回B列的数据
#返回值类型：numpy矩阵
s=q.loc['b'] #返回b行的列名和对应的数据
#只能根据行来查看
s=q.iloc[1] #返回指定索引行的列名和对应的数据
s=q.shape[0] #查看数据表行数 4 <class 'int'>
s=q.shape[1] #查看数据表列数 4 <class 'int'>
s=q.T #行列转置
s=q.describe() #对数值型的列进行统计
#如果想对行进行描述性统计，转置后进行describe
count 行数 mean 平均值 std 标准差
min 最小值 max 最大值
s=q.sum() #对所有列求和
s = self.df['物理'].sum() #对物理列求和
如果是文本列，就是把所有文本加成一个字符串
s=q.sum(1) #对每行求和
#而一行中，有字符串有数值则只计算数值
x=np.array([[1,5,2,3],[10,40,20,30],[300,200,100,400],[4,4,4,4]])
q=pd.DataFrame(x,index=list('abcd'),columns=list('ABCD'))
s=q.apply(lambda x:x*2) #对每个元素进行计算
#如果元素是字符串，则会把字符串再重复一遍
#乘方运算如果有元素是字符串的话，会报错
q['E']=[99,34,12,3] #在后面添加一列
#E 添加的列名
q.insert(1,'F',[88,888,8,888]) #插入一列
#参数1 插入列的索引 其他的列顺延
# 参数2 列名
df6=pd.DataFrame(['my','name','is','a'],index=list('abch'),columns=list('G'))
df2=pd.DataFrame([[1,2,3,4],[2,3,4,5],[3,4,5,6],[4,5,6,7]],index=list('abcd'),columns=list('ABCD'))
s=df2.join(df6) #把df6合并到df2
#根据行名 列名 来合并
#两个表有列名相同时就会报错
#s的行是以df2的行index为基准的,在df2相应行不存在数据时，就NaN=空 来填充
df8=df2.join(df6,how='inner') #把df6合并到df2
#how='inner' 交集:只返回两个数据表相同行名的行
df9=df2.join(df6,how='outer') #把df6合并到df2
#'outer'表示并集 :返回两个表的所有行
#如果要合并多个Dataframe，可以用list把几个Dataframe装起来，然后使用concat转化为一个新的Dataframe
df10=pd.DataFrame([1,2,3,4],index=list('abcd'),columns=['A'])
df11=pd.DataFrame([10,20,30,40],index=list('abcd'),columns=['B'])
df12=pd.DataFrame([100,200,300,400],index=list('abcd'),columns=['A'])
list1=[df10, df11, df12]
df13=pd.concat(list1) #合并多个数据表
#参数 是 数据表的列表
#df13 的列是所有数据表不同列名的总和
#df13 的行是所有数据表的总行数
x=np.array([[1,5,2,3],[10,40,20,30],[300,200,100,400],[4,4,4,4]])
q=pd.DataFrame(x,index=list('abcd'),columns=list('ABCD'))
s=q.sort_index(axis=0,ascending=False)#排序.根据列名或行名
#axis=1 对列名排序;axis=0 对行名排序
#ascending=False 降序;ascending=True 升序
s=q.sort_values(by='b',ascending= False,axis=1) #排序。根据数据
#by 根据哪一行或哪一列
#ascending=False 降序;ascending=True 升序
#axis=1 根据某行数据; axis=0 根据某列数据
df.sort_values(by='物理',inplace=True) #排序--根据数据排序
#by='物理'--排序的列
#inplace=True---在原数据表排序，不生成新数据表
s=q['A'] #返回某列数据
s=q.A #返回某列数据
s=q[['B','C']] #返回某n列的数据
s=q[1:3] #返回1到3行的数据。骨头不顾尾
s=q['b':'c'] #返回b行到c行的数据。包括c行
s=q.loc['b'] #返回b行数据
s=q.loc[:,['B','C']] #返回B列、C列所有行的数据
s=q.loc['c',['B','C']] #返回c行的B列、C列数据
s=q.iloc[1:3,1:3] #返回第一行到第三行的第一列到第三列数据
s=q.iloc[2] #返回某行数据
s=q.iloc[2,2] #返回某行某列的数据
s=q.iloc[[1,3],1:3] #返回第一行和第三行的第一列到第三列数据
s=q.ix[0:3,['A','C']] #返回 0:3行，A列和C列 【混合筛选】
s=q.ix[['a','c'],0:3] #返回 a行c行，0:3列
s=q[q.A>8] #筛选A列大于8的所有数据
e=[40,200]
s=q[q['B'].isin(e)] #筛选出所有B列的值在e=[40,200]这个范围内的记录
q[q.B>20]=0 #B列>20的行数据都改成0
q.A[q.B>20]=0 #B列>20的A列行数据都改成0
s=q.dropna(axis=0,how='any') #删除存在NaN时的数据
#axis=0 删除存在NaN所在行 ；axis=1 删除存在NaN所在列
#how='any' 存在一个NaN时就删除；how='all' 都是NaN时才删除
s=q.fillna(value=0) #把NaN都改成0
s=q.fillna({'A':10,'B':20,'C':30}) #修改NaN的值
#A列的NaN都修改成10；B列的NaN都修改成20;C列的NaN都修改成30
q.fillna({'A':10,'B':20,'C':30},inplace=True) #修改NaN的值
#A列的NaN都修改成10；B列的NaN都修改成20;C列的NaN都修改成30
#inplace=True 不创建副本，在原数据表中修改
s=q.fillna(method='ffill')
#method='ffill' 或者 method='pad' 用前一个非缺失值去填充NaN
s=q.fillna(method='backfill') #用下一个非缺失值填充NaN
s=q.fillna(method='backfill',limit=1)
#limit=1 限制每列或每行连续NaN的修改次数
s=q.fillna(method='backfill',limit=1,axis=1)
#limit=1 限制每列或每行连续NaN的修改次数
#axis=1 limit按行方向计算；axis=0 limit按列方向计算
s=q.isnull() #判断每个元素是否为缺省值NaN
e=np.any(s) == True #s数据表中只要有一个数据是True就返回True
e=np.all(s) == True #s数据表中所有数据都是True就返回True
Pandas中的数据可以加载、存储的文件格式:
q=pd.read_csv(r'D:/ss/成绩1.csv') #读取CSV（逗号分割）文件到数据表
q.to_pickle(r'D:/ss/成绩1.pickle') #把数据表存储为pickle文件
s=pd.concat([q,q1,q2],axis=0,ignore_index=True) #数据表合并
#axis=0 纵向合并
#ignore_index=True 新数据表的索引重新排列
s=pd.concat([q,q3],axis=0,ignore_index=True,join='outer') #数据表合并
#join='outer' 各表中不同的列名或行名 都合并
#join='inner' 只取各表相同的列名或行名
s=pd.concat([q,q3],axis=1,ignore_index=True,join_axes=[q.index]) #数据表合并
#join_axes=[q.index] 横向合并时只取q的行
s=pd.concat([q,q3],axis=0,ignore_index=True,join_axes=[q.columns]) #数据表合并
#join_axes=[q.columns] 纵向合并时只取q的列
s=q.append(q1,ignore_index=True) #在q表后面追加q1表
#不修改q1表
s=pd.merge(left,right,on='key') #合并数据表
#on 设置连接键，连接键的列名要相等，两个表必须都有连接键，合并后连接键只出现一次
#非连接键都会出现，有同名的会自动改名
s=pd.merge(left,right,on=['key','key1']) #合并数据表,多个连接键合并
#on 设置连接键，连接键的列名要相等，两个表必须都有连接键，合并后连接键只出现一次
#非连接键都会出现，有同名的会自动改名
#多个连接键合并：how='inner' 只会合并连接键相同的行,默认；
#how='outer' 都合并进来
#how='right' 只合并右对象的连接键
#how='left' 只合并左对象的连接键
#indicator=True 显示出此行在哪个表格中出现
1 import pandas as pd
2 import numpy as np
3
4 s=pd.Series(data=[1,3,6,90,44,1]) #创建序列[用列表创建]。数据源的维度必须是一维
5 #data 指定数据源
6 s=pd.Series(data=np.arange(5,9),index=['语文','数学','物理','化学']) #创建序列[用numpy创建]
7 # index 指定索引
8 dic={'物理':87,'化学':67,'语文':77,'数学':54}
9 s=pd.Series(data=dic) #创建序列[用字典创建].
10 #不能使用index 字典中的key就是索引
11 s=pd.date_range(start='20170101',end='20170105') #生成一个日期时间索引
12 # start 指定开始时间； end 指定结束时间
13 s=pd.date_range(start='20170101',periods=4)
14 # # periods 数据的个数
15 s=pd.date_range(start='20170101',periods=6,freq='2D')
16 #freq：日期偏移量，取值为string或DateOffset，默认为'D'
17 s=pd.date_range(start='20170101',end='20170110',freq='3D',name='dt')
18 # 对象的名称
19 s=pd.date_range(start='2017-01-01 08:10:50',periods=6,freq='s')
20 # 偏移量是 秒
21 s=pd.date_range(start='2017-01-01 08:10:50',periods=6,freq='s',normalize=True)
22 #normalize：若参数为True表示将start、end参数值正则化到午夜时间戳
23
24 s=pd.date_range(start='20170101',end='20170110',freq='3D',closed='left')
25 #closed='left' 顾左不顾右
26
27 s=pd.date_range(start='20170101',end='20170110',freq='3D',closed='right')
28 #closed='right' 顾右不顾左
29
30 q=pd.DataFrame(np.random.randn(4,4),index=list('ABCD'),columns=list('ABCD')) #创建数据表
31 #DataFrame是Python中Pandas库中的一种数据结构，它类似excel，是一种二维表
32 #DataFrame可以设置列名columns与行名index，可以通过位置获取数据也可以通过列名和行名定位
33 #第一个参数是存放在数据表里的数据 可以是：numpy的矩阵对象、字典、列表
34 #index就是设置行名 columns设置列明 可以省略
35 #后两个参数可以使用list输入，但是注意，这个list的长度要和DataFrame的大小匹配
36
37 s=pd.date_range(start='20170101',end='20170110',freq='3D')
38 q=pd.DataFrame(np.random.randn(4,4),index=s,columns=list('ABCD')) #创建数据表
39 # s 是date_range日期时间索引对象
40
41 dic1={'name':['小明','小红','狗蛋','铁柱'],'age':[17,20,5,40],'性别':['男','女','女','男']}
42 q=pd.DataFrame(dic1) #用字典创建数据表
43 #每个key的value代表一列，而key是这一列的列名
44
45 s=q.dtypes #返回各列的数据类型
46
47 q=pd.DataFrame(np.random.randn(6,6))
48 s=q.head(3) #返回数据表前n行数据
49 #参数 指定行数 默认5
50
51 s=q.tail(3) #返回数据表后n行数据
52 q=pd.DataFrame(np.random.randn(4,4),index=list('abcd'),columns=list('ABCD'))
53 s=q.index #返回数据表的行名
54 s=q.columns #返回数据表的列名
55 s=q.values #返回数据表的数据
56 #返回值类型：numpy矩阵
57 s=q['B'].values #返回B列的数据
58 #返回值类型：numpy矩阵
59 s=q.loc['b'] #返回b行的列名和对应的数据
60 #只能根据行来查看
61
62 s=q.iloc[1] #返回指点索引行的列名和对应的数据
63 s=q.shape[0] #查看行数 4 <class 'int'>
64 s=q.shape[1] #查看列数 4 <class 'int'>
65
66 s=q.T #行列转置
67 s=q.describe() #对数值型的列进行统计
68 #如果想对行进行描述性统计，转置后进行describe
69 s=q.sum() #对每列求和
70 s=q.sum(1) #对每行求和
71 #而一行中，有字符串有数值则只计算数值
72
73 x=np.array([[1,5,2,3],[10,40,20,30],[300,200,100,400],[4,4,4,4]])
74 q=pd.DataFrame(x,index=list('abcd'),columns=list('ABCD'))
75 s=q.apply(lambda x:x*2) #对每个元素进行计算
76 #如果元素是字符串，则会把字符串再重复一遍
77 #乘方运算如果有元素是字符串的话，会报错
78
79 q['E']=[99,34,12,3] #在后面添加一列
80 #E 添加的列名
81 q.insert(1,'F',[88,888,8,888]) #参数一列
82 #参数1 插入列的索引 其他的列顺延
83 # 参数2 列名
84
85 df6=pd.DataFrame(['my','name','is','a'],index=list('abch'),columns=list('G'))
86 df2=pd.DataFrame([[1,2,3,4],[2,3,4,5],[3,4,5,6],[4,5,6,7]],index=list('abcd'),columns=list('ABCD'))
87 s=df2.join(df6) #把df6合并到df2
88 #根据行名 列名 来合并
89 #两个表有列名相同时就会报错
90 #s的行是以df2的行index为基准的,在df2相应行不存在数据时，就NaN=空 来填充
91
92 df8=df2.join(df6,how='inner') #把df6合并到df2
93 #how='inner' 交集:只返回两个数据表相同行名的行
94
95 df9=df2.join(df6,how='outer') #把df6合并到df2
96 #'outer'表示并集 :返回两个表的所有行
97
98 #如果要合并多个Dataframe，可以用list把几个Dataframe装起来，然后使用concat转化为一个新的Dataframe
99 df10=pd.DataFrame([1,2,3,4],index=list('abcd'),columns=['A'])
100 df11=pd.DataFrame([10,20,30,40],index=list('abcd'),columns=['B'])
101 df12=pd.DataFrame([100,200,300,400],index=list('abcd'),columns=['C'])
102 list1=[df10, df11, df12]
103 df13=pd.concat(list1) #合并多个数据表
104 #参数 是 数据表的列表
105 #df13 的列是所有数据表不同列名的总和
106 #df13 的行是所有数据表的总行数
107
108 x=np.array([[1,5,2,3],[10,40,20,30],[300,200,100,400],[4,4,4,4]])
109 q=pd.DataFrame(x,index=list('abcd'),columns=list('ABCD'))
110 s=q.sort_index(axis=0,ascending=False)#排序.根据列名或行名
111 #axis=1 对列名排序;axis=0 对行名排序
112 #ascending=False 降序;ascending=True 升序
113 s=q.sort_values(by='b',ascending= False,axis=1) #排序。根据数据
114 #by 根据哪一行或哪一列
115 #ascending=False 降序;ascending=True 升序
116 #axis=1 根据某行数据; axis=0 根据某列数据
117
118 s=q['A'] #返回某列数据
119 s=q[['B','C']] #返回某n列的数据
120 s=q.A #返回某列数据
121 s=q[1:3] #返回1到3行的数据。骨头不顾尾
122 s=q['b':'c'] #返回b行到c行的数据。包括c行
123 s=q.loc['b'] #返回b行数据
124 s=q.loc[:,['B','C']] #返回B列、C列所有行的数据
125 s=q.loc['c',['B','C']] #返回c行的B列、C列数据
126 s=q.iloc[2] #返回某行数据
127 s=q.iloc[2,2] #返回某行某列的数据
128 s=q.iloc[1:3,1:3] #返回第一行到第三行的第一列到第三列数据
129 s=q.iloc[[1,3],1:3] #返回第一行和第三行的第一列到第三列数据
130 s=q.ix[0:3,['A','C']] #返回 0:3行，A列和C列 【混合筛选】
131 s=q.ix[['a','c'],0:3] #返回 a行c行，0:3列
132 s=q[q.A>8] #筛选出A列大于8的所有数据
133
134 e=[40,200]
135 s=q[q['B'].isin(e)] #筛选出所有B列的值在e=[40,200]这个范围内的记录
136
137 #q.iloc[2,2]=77 #修改某行某列的值
138 #q.loc['c','B']=54 #修改某行某列的值
139 q[q.B>20]=0 #B列>20的行数据都改成0
140
141 print(q)
142 print(s)
1 import pandas as pd
2 import numpy as np
3
4 x=np.array([[1,5,2,3],[10,40,20,30],[300,200,100,400],[4,4,4,4]])
5 q=pd.DataFrame(x,index=list('abcd'),columns=list('ABCD'))
6
7 #q[q.B>20]=0 #B列>20的行数据都改成0
8 q.A[q.B>20]=0 #B列>20的A列行数据都改成0
9
10 x=np.array([[1,5,2,3],[10,40,20,30],[300,200,100,400],[4,4,4,4],[35,36,37,38],[101,102,103,104]])
11 q=pd.DataFrame(x,index=list('abcdef'),columns=list('ABCD'))
12 q.iloc[2,2]=np.NaN
13 q.iloc[4,0]=np.NaN
14 #s=q.dropna(axis=0,how='any') #删除存在NaN时的数据
15 #axis=0 删除存在NaN所在行 ；axis=1 删除存在NaN所在列
16 #how='any' 存在一个NaN时就删除；how='all' 都是NaN时才删除
17
18 #s=q.fillna(value=0) #把NaN都改成0
19 #s=q.fillna({'A':10,'B':20,'C':30},inplace=True) #修改NaN的值
20 #A列的NaN都修改成10；B列的NaN都修改成20;C列的NaN都修改成30
21
22 #q.fillna({'A':10,'B':20,'C':30},inplace=True) #修改NaN的值
23 #A列的NaN都修改成10；B列的NaN都修改成20;C列的NaN都修改成30
24 #inplace=True 不创建副本，在原数据表中修改
25
26 # s=q.fillna(method='ffill')
27 # #method='ffill' 或者 method='pad' 用前一个非缺失值去填充NaN
28 #
29 # s=q.fillna(method='backfill') #用下一个非缺失值填充NaN
30 # s=q.isnull() #判断各个数据是否缺失值NaN
31
32 q.iloc[3,0]=np.NaN
33 q.iloc[3,2]=np.NaN
34 q.iloc[1,2]=np.NaN
35 q.iloc[2,1]=np.NaN
36 q.iloc[2,3]=np.NaN
37 q.iloc[3,1]=np.NaN
38 s=q.fillna(method='backfill',limit=1,axis=1)
39 #limit=1 限制每列或每行连续NaN的修改次数
40 #axis=1 limit按行方向计算；axis=0 limit按列方向计算
41
42 s=q.isnull() #判断每个元素是否为缺省值NaN
43 e=np.any(s) == True #s数据表中只要有一个数据是True就返回True
44 e=np.all(s) == True #s数据表中所有数据都是True就返回True
45
46 print(q)
47 print(s)
48 print(e)
1 import pandas as pd
2 import numpy as np
3
4 # q=pd.read_csv(r'D:/ss/成绩1.csv') #读取CSV（逗号分割）文件到数据表
5 # q.to_pickle(r'D:/ss/成绩1.pickle') #把数据表存储为pickle文件
6 q=pd.DataFrame([[4,3,1,2],[20,40,30,10],[100,300,400,200]],columns=list('ABCD')) #创建数据表
7 q1=pd.DataFrame([[45,35,15,25],[205,405,305,105],[1005,3005,4005,2005]],columns=list('ABCD'))
8 q2=pd.DataFrame([[41,31,11,21],[201,401,301,101],[1001,3001,4001,2001]],columns=list('ABCD'))
9 q3=pd.DataFrame([[44,34,14,24],[204,404,304,104],[1004,3004,4004,2004]],index=[1,2,3],columns=list('ABCE'))
10 # s=pd.concat([q,q1,q2],axis=0,ignore_index=True) #数据表合并
11 #axis=0 纵向合并
12 #ignore_index=True 新数据表的索引重新排列
13
14 # s=pd.concat([q,q3],axis=0,ignore_index=True,join='inner') #数据表合并
15 #join='outer' 各表中不同的列名或行名 都合并
16 #join='inner' 只取各表相同的列名或行名
17
18 # s=pd.concat([q,q3],axis=1,ignore_index=True,join_axes=[q.index]) #数据表合并
19 #join_axes=[q.index] 横向合并时只取q的行
20
21 #s=pd.concat([q,q3],axis=0,ignore_index=True,join_axes=[q.columns]) #数据表合并
22 #join_axes=[q.columns] 纵向合并时只取q的列
23
24 s=q.append(q1,ignore_index=True) #在q表后面追加q1表
25 #不修改q1表
26
27 left=pd.DataFrame({'key':['k0','k1','k2','k3'],
28 'key1':['k0','kk1','k2','kk3'],
29 'A':['A0','A1','A2','A3'],
30 'B':['B0','B1','B2','B3']})
31 right=pd.DataFrame({'key':['k0','k1','k2','k3'],
32 'key1':['k0','kk6','k2','kk7'],
33 'B':['BB0','BB1','BB2','BB3'],
34 'C':['C0','C1','C2','C3'],
35 'D':['D0','D1','D2','D3']
36 })
37
38 #s=pd.merge(left,right,on=['key','key1'],how='right') #合并数据表,多个连接键合并
39 #两个数据表的行数要相等
40 #on 设置连接键，连接键的列名要相等，两个表必须都有连接键，合并后连接键只出现一次
41 #非连接键都会出现，有同名的会自动改名
42 #多个连接键合并：how='inner' 只会合并连接键相同的行,默认；
43 #how='outer' 都合并进来
44 #how='right' 只合并右对象的连接键
45 #how='left' 只合并左对象的连接键
46 #indicator=True 显示出此行在哪个表格中出现
47
48 s=pd.merge(left,right,on='key',right_index=True) #合并数据表
49
50 print(s)
