Numpy&Pandas 快速入门笔记
Xu An 2018-4-6
######Numpy部分######
1、创建array
import numpy as np
a=np.array([[2,23,4],[21,3,43],[34,43,234]],dtype=np.int32) #创建矩阵 使用dtype进行数组内容格式的规定，默认为int64，通常来说位数越小占用空间越小 print(a,a.dtype) b=np.zeros((3,5)) #按照行列的形式用0填充整个矩阵 print(b) c=np.ones((3,5)) #生成单位矩阵 print(c) d=np.arange(0,12,1).reshape((3,4)) #用arange生成从1开始，12结束(不含)，步长为1的行矩阵 #reshape 进行行矩阵的二维化（行，列） print(d) e=np.linspace(1,10,6) #将（start，stop，step）从start到stop均分，生成step个点，被划分为step-1个线段 print(e)
2、numpy基础运算
a=np.array([10,20,30,40]) b=np.arange(4) print(a,b) c=a-b #矩阵加减法 print(c) a=np.array([10,20,30,40]).reshape(2,2) b=np.arange(4).reshape(2,2) print(a*b) #只能进行矩阵的加减法运算或逐个乘法（不按照矩阵原则进行乘法运算） print(np.dot(a,b)) #如果是矩阵乘法需要使用dot()进行矩阵的运算（只对二维） print(a.dot(b)) #如果a已经为矩阵，则可以使用a.dot(b)进行矩阵运算 print(a==3) #判断每个数据与目标的大小情况，返回布尔类型 a=np.random.random((2,4)) #其会随机生成数字并进行reshape print(a) print(np.max(a)) #找到矩阵中的最大元素max，最小元素min print(np.sum(a,axis=1)) #当axis=0时，在列数中求和，axis=1时，在行数中求和 a=np.arange(2,14).reshape(3,4) print(a) print(np.argmin(a)) #输出整个矩阵最小元素的索引值 print(np.argmax(a)) #整个矩阵最大元素的索引值 print(np.average(a)) #整个矩阵所有元素的平均值 print(np.median(a)) #求中位数 print(np.cumsum(a)) #累加器，输出一个数组，每一个是前面的和 print(np.diff(a)) #后面一个和前面一个的差 print(np.nonzero) #? print(np.sort(a)) #将矩阵进行逐行排序 b=np.transpose(a) #矩阵的转置 print(np.clip(b,3,4)) #clip 将所选矩阵小于3的变为3，大于4的变为4，之间的值不发生变化
3、numpy的索引
a=np.arange(3,15).reshape(3,4) print(a[2][3]) #索引出该位置的值(不能将索引值降维) print(a.flatten()) #将矩阵降维变成一维矩阵
4、array的合并
a=np.array([1,1,1]) b=np.array([2,2,2]) print(np.vstack((a,b))) #vertical stack（垂直堆栈，将两个行矩阵垂直放置） print(np.hstack((a,b))) #horizontial stack (水平堆栈，两个行矩阵进行左右合并) print(a[:,np.newaxis]) #在纵向加入一个维度，使其变成垂直数组 也可以使用reshape(3,1) c=np.concatenate((a,b,a,c),axis=0) #在纵向维度对每一个元素进行合并
5、array的分割
a=np.arange(12).reshape(3,4) print(a) print(np.split(a,4,axis=1)) #对矩阵进行等量分割，axis=1为列分割，axis=0时为行分割 print(np.array_split(a,3,axis=1)) #使用array_split可以将矩阵进行不相等分割 print(np.vsplit(a,3)) #对矩阵进行横向或者纵向等量分割 print(np.hsplit(a,2))
6、numpy的copy&deep copy
a=np.arange(4) b=a #赋值是b就是a，b拷贝了a的地址 c=a d=b a[0]=100 print(a) print(b) print(d is a) b=a.copy() #深拷贝，拷贝的是地址
######pandas部分######
import pandas as pd
1、pandas基础
s=pd.Series([1,3,6,np.nan,44,1])
print(s) #pandas会给列表元素加上序号和dtype
dataes=pd.date_range('20180101',periods=6) #按顺序打印日期
print(dataes)
df=pd.DataFrame(np.random.randn(6,4),index=dataes,columns=['a','b','c','d']) #将数据进行名称化，index是行名称，colums是列名称
df=pd.DataFrame(np.arange(12).reshape(3,4)) #默认行标、列表从0开始,或者使用字典导入
print(df)
print(df.dtypes) #输出每个元素的类型
print(df.index) #输出值(value) 行标(index) 列标(columns)
print(df.T) #转置
print(df.sort_index(axis=0,ascending=False)) #对列标进行倒序排序
# print(df.sort_values(by="")) 针对某一个字段进行排序
#panda设置值
datas=pd.date_range('20130101',periods=6)
df=pd.DataFrame(np.arange(24).reshape((6,4)),index=datas,columns=['A','B','C','D'])
df.iloc[2,2]=1111 #使用iloc对第三行第三列的数值进行重新赋值
df.loc['20130101','B']=2222 #通过行列标题对其进行重新赋值
df.A[df.A>4]=0 #将A列所有值大于4的值赋值为0
df['E']=pd.Series([1,2,3,4,5,6],index=pd.date_range('20130101',periods=6)) #加入一行
df['F']=pd.Series([1,2,3,4,5,6],index=pd.date_range('20130101',periods=6))
print(df)2、处理缺失数据
df.iloc[0,1]=np.nan
df.iloc[1,2]=np.nan
print(df)
print(df.dropna(axis=0,how='any')) #how={'any','all'}any是只要行中有null就丢弃行，all是仅当一行全部为null时才丢弃该行
print(df.fillna(value=0)) #将所有null值赋值为0
print(df.isnull()) #使用null方法，判断元素是否为null，返回布尔值
print(np.any(df.isnull())==True) #判断数据列表中是否有任意一个为null3、数据导出导出
#pandas可以导入多种数据原，csv，excel,hdf,sql,json,msgpack,html,gbq,stata,sas,clipboard,pickle
# data=pd.read_csv('class _list.csv') #使用read_csv读取csv格式的文件，并在读取时加入一个索引
# print(data)
# data.to_pickle('class _list.pickle') #使用to_pickle将变量存取4、合并多个数据
#concatenating df1=pd.DataFrame(np.ones((3,4))*0,columns=['a','b','c','d']) df2=pd.DataFrame(np.ones((3,4))*1,columns=['a','b','c','d']) df3=pd.DataFrame(np.ones((3,4))*2,columns=['a','b','c','d']) print(df1) print(df2) print(df3) res=pd.concat([df1,df2,df3],axis=0,ignore_index=True) #使用concat对三个矩阵进行合并（axis=0为纵向合并，1为横向合并） #ignore_index=True可以忽略之前的标号，对数据进行重新排序 print(res) #join,['inner','outer'] df1=pd.DataFrame(np.ones((3,4))*0,columns=['a','b','c','d'],index=[1,2,3]) df2=pd.DataFrame(np.ones((3,4))*1,columns=['a','b','c','d'],index=[2,3,4]) res=pd.concat([df1,df2],join='outer') print(res) res=pd.concat([df1,df2],join='inner') print(res)
5、合并数据 merge
#merging two df by keys
left=pd.DataFrame({'key':['KO','K1','K2','K3'],
'A':['A0','A1','A2','A3'],
'B':['B0','B1','B2','B3']
})
right=pd.DataFrame({'key':['KO','K1','K2','K3'],
'C':['C0','C1','C2','C3'],
'D':['D0','D1','D2','D3']
})
print(left)
print(right)
res=pd.merge(left,right,on='key')
print(res) #通过key进行合并
# #consider two keys
# left=pd.DataFrame({'key1':['KO','K1','K2','K3'],
# 'A':['A0','A1','A2','A3'],
# 'B':['B0','B1','B2','B3']
# })
# right=pd.DataFrame({'key2':['KO','K1','K2','K3'],
# 'C':['C0','C1','C2','C3'],
# 'D':['D0','D1','D2','D3']
# })
# res=pd.merge(left,right,on=['key1','key2'],how='inner')
# print(res)6、pandas的数据可视化
import matplotlib.pyplot as plt
data =pd.Series(np.random.randn(1000),index=np.arange(1000))
data=data.cumsum()
data.plot()
plt.show()
data=pd.DataFrame(np.random.randn(1000,4),index=np.arange(1000),columns=list('ABCD'))
data=data.cumsum()
#plot的方法
#bar\hist\box\kde\area\scatter\hexbin\pie
ax=data.plot.scatter(x='A',y='B',color="DarkBlue",label='Class1') #scatter 散点图
data.plot.scatter(x="A",y='C',color="DarkGreen",label='class2',ax=ax)
plt.show()
