pandas基于numpy进行开发,是python数据分析的核心包,针对结构化数据,提供了一系列灵活且强大的数据分析功能。在pandas中,提供了以下两种基本的数据结构

  1. Series
  2. DataFrame

熟悉R的朋友,理解这两个概念非常简单,Series是一维结构,且带有标签,其中的元素都是同种类型,类比R语言中的向量,而DataFrame从名字看更加直观,类比R语言中的data.frame数据框,DataFrame的每一列其实就是一个Series对象。Series对象示例如下

>>> import pandas as pd
>>> import numpy as np
>>> s = pd.Series([1, 2, 3, np.nan, 5])
>>> s
0 1.0
1 2.0
2 3.0
3 NaN
4 5.0
dtype: float64
# name参数指定series的名称
>>> s = pd.Series(data=[1, 2, 3, np.nan, 5],name='A')
>>> s
0 1.0
1 2.0
2 3.0
3 NaN
4 5.0
Name: A, dtype: float64
# data参数指定数据
# index参数指定标签
# 默认标签类似数组的下标索引
>>> s = pd.Series(data=[1, 2, 3, np.nan, 5],index=['A','B','C', 'D', 'E'])
>>> s
A 1.0
B 2.0
C 3.0
D NaN
E 5.0
dtype: float64
# 通过下标或者标签名字可以访问其中的元素
>>> s[0]
1.0
>>> s['A']
1.0

pandas中的缺失值用NaN来表示,DataFrame对象示例如下

>>> df = pd.DataFrame(np.random.rand(5,5))
>>> df
0 1 2 3 4
0 0.163853 0.478228 0.096328 0.390939 0.528931
1 0.483235 0.964965 0.946697 0.617395 0.149224
2 0.720721 0.559443 0.346435 0.486527 0.390008
3 0.711582 0.519249 0.005936 0.866858 0.836957
4 0.897743 0.972732 0.537487 0.276900 0.948538
# index 参数指定行标签, 默认值为从0开始的下标
# columns参数指定列标签,默认值为从0开始的下标
>>> df = pd.DataFrame(np.random.rand(5,5),index=['A1','A2','A3','A4','A5'], columns=['A','B','C','D','E'])
>>> df
A B C D E
A1 0.418639 0.536177 0.575832 0.836404 0.061494
A2 0.911322 0.062853 0.840488 0.051903 0.559243
A3 0.213690 0.797220 0.891103 0.232472 0.128613
A4 0.238780 0.397183 0.289779 0.370459 0.264069
A5 0.575950 0.311570 0.215405 0.793575 0.994698
# 通过列标签访问对应的列
# 输出内容就是一个Series对象
>>> df['A']
A1 0.418639
A2 0.911322
A3 0.213690
A4 0.238780
A5 0.575950
Name: A, dtype: float64
>>> df.A
A1 0.418639
A2 0.911322
A3 0.213690
A4 0.238780
A5 0.575950
Name: A, dtype: float64
>>> df.get('A')
A1 0.700150
A2 0.903883
A3 0.015775
A4 0.006292
A5 0.239663
Name: A, dtype: float64

DataFrame是pandas操作的核心, 支持异构数据,即不同的列对应不同的数据类型,示例如下

>>> df = pd.DataFrame({'A':[1, 2, 3, 4], 'B':['Andy', 'Rose', 'June', 'July']})
>>> df
A B
0 1 Andy
1 2 Rose
2 3 June
3 4 July

这样的结构更具包容性,适合处理类似excel文件内容的数据。DataFrame的基本操作方法如下 


1. 基本属性

DataFrame也具有numpy数组类似的维度,形状等属性,示例如下

# 维度
>>> df.ndim
2
# 数值总数
>>> df.size
25
# 每个维度的尺寸
>>> df.shape
(5, 5)
# 每一列的数据类型
>>> df.dtypes
A float64
B float64
C float64
D float64
E float64
dtype: object
# 数据框中的所有值
>>> df.values
array([[0.70015033, 0.12960382, 0.871099 , 0.86146233, 0.33794277],
[0.90388331, 0.40102109, 0.3046794 , 0.40498749, 0.55128064],
[0.01577541, 0.70574337, 0.99492806, 0.28706767, 0.62816839],
[0.00629215, 0.488683 , 0.5385188 , 0.15954784, 0.15361006],
[0.23966275, 0.54685001, 0.32405166, 0.81499923, 0.53875313]])
# 数据框的行和列标签
>>> df.axes
[Index(['A1', 'A2', 'A3', 'A4', 'A5'], dtype='object'), Index(['A', 'B', 'C', 'D', 'E'], dtype='object')]
# 行标签
>>> df.index
Index(['A1', 'A2', 'A3', 'A4', 'A5'], dtype='object')
# 行标签
>>> df.keys()
Index(['A', 'B', 'C', 'D', 'E'], dtype='object')
# 列标签
>>> df.columns
Index(['A', 'B', 'C', 'D', 'E'], dtype='object')

2. 查看内容

实际中的数据框框往往包含非常多的行和列,通过head和tail方法可以简单查看头尾的几行,示例如下

>>> df.head(n=1)
A B C D E
A1 0.418639 0.536177 0.575832 0.836404 0.061494
>>> df.head(n=2)
A B C D E
A1 0.418639 0.536177 0.575832 0.836404 0.061494
A2 0.911322 0.062853 0.840488 0.051903 0.559243
>>> df.tail(n=3)
A B C D E
A3 0.21369 0.797220 0.891103 0.232472 0.128613
A4 0.23878 0.397183 0.289779 0.370459 0.264069
A5 0.57595 0.311570 0.215405 0.793575 0.994698

3. 访问元素

基本的访问元素通过行列的索引或标签来进行,示例如下

# 根据行和列的标签来访问对应元素
>>> df.at['A1', 'A']
0.7001503320168031
# 根据行和列的索引来访问对应元素
>>> df.iat[0, 0]
0.7001503320168031
# 根据行和列的标签来访问对应元素
>>> df.loc['A1','A']
0.7001503320168031
# 根据行和列的索引来访问对应元素
>>> df.iloc[0,0]
0.7001503320168031

4. 二元运算

对两个数据框进行运算,常用的加减乘除算数运算,示例如下

>>> a = pd.DataFrame(np.random.rand(4,4))
>>> b = pd.DataFrame(np.random.rand(4,4))
# 加法
>>> a.add(b)
0 1 2 3
0 1.357769 1.684003 0.500581 0.814958
1 0.900818 1.138432 1.898524 1.000987
2 1.105629 1.076538 0.729917 0.682571
3 0.564739 1.017597 0.864299 0.801017
# 等价二元操作符
>>> a + b
0 1 2 3
0 1.357769 1.684003 0.500581 0.814958
1 0.900818 1.138432 1.898524 1.000987
2 1.105629 1.076538 0.729917 0.682571
3 0.564739 1.017597 0.864299 0.801017
# 减法
>>> a.sub(b)
# 乘法
>>> a.mul(b)
# 除法
>>> a.div(b)

逻辑运算,示例如下

# 大于
>>> a.gt(b)
0 1 2 3
0 True True False False
1 False False False False
2 True False True True
3 True False False True
# 小于
>>> a.lt(b)
# 小于等于
>>> a.le(b)
# 大于等于
>>> a.ge(b)
# 等于
>>> a.eq(b)
# 不等于
>>> a.ne(b)

5. 合并数据框

# append 函数,将新的数据框追加为行
>>> a = pd.DataFrame(np.random.rand(2, 2), columns=['A', 'B'])
>>> b = pd.DataFrame(np.random.rand(2, 2), columns=['A', 'B'])
>>> a
A B
0 0.529614 0.712904
1 0.969706 0.943299
>>> b
A B
0 0.626073 0.293426
1 0.952565 0.251707
>>> a.append(b)
A B
0 0.529614 0.712904
1 0.969706 0.943299
0 0.626073 0.293426
1 0.952565 0.251707
# assign 函数,为数据框新增列
>>> a.assign(C=pd.Series([1,2]))
A B C
0 0.529614 0.712904 1
1 0.969706 0.943299 2
# 多列就是多个关键词参数
>>> a.assign(C=pd.Series([1,2]),D=[1,2])
A B C D
0 0.529614 0.712904 1 1
1 0.969706 0.943299 2 2

DataFrame相比numpy ndarray, 更加嵌合实际数据,用pandas来分析实际数据更加的便利,pandas中也提供了很多的统计分析函数以及灵活的操作方法,更多的技巧后续在详细介绍。

·end·


初识pandas_公众号

一个只分享干货的

生信公众号