前言
pandas是Python的一个数据分析库，提供如DataFrame等十分容易操作的数据结构，是近年做数据分析时不可或缺的工具之一。
但是pandas知识点繁多，同一个操作可以用多种不同的方法实现，再加上网上满坑满谷的教学资料，质量参差不齐，导致很多初学者常常看完后不知所云，且很快就忘掉了。本系列正是从这点出发，将60个常用的pandas知识点由浅入深地分成4大类别：Pandas基础理论、三类操作（分组、变形、合并）、四类数据（缺失数据、文本数据、分类数据、时序数据）、综合例子（带你再次完整走一遍前面所有操作）。保证你看完后足以应付日常90%的情景。
废话不多说啦，让我们开始这趟pandas旅程吧！
本文主要内容概览：
文末放上代码
分组通常是一个SAC过程
SAC指的是分组操作中的split-apply-combine过程 其中split指基于某一些规则，将数据拆成若干组，apply是指对每一组独立地使用函数，combine指将每一组的结果组合成某一类数据结构
在apply过程中，我们实际往往会遇到四类问题：
- 整合（Aggregation）——即分组计算统计量（如求均值、求每组元素个数）
- 变换（Transformation）——即分组对每个单元的数据进行操作（如元素标准化）
- 过滤（Filtration）——即按照某些规则筛选出一些组（如选出组内某一指标小于50的组）
- 综合问题——即前面提及的三种问题的混合
1. groupBy（SAC中的S）
ipl_data = {'Team': ['Riders', 'Riders', 'Devils', 'Devils', 'Kings',
'kings', np.nan, 'Kings', 'Riders', 'Royals', 'Royals', 'Riders'],
'Rank': [1, 2, 2, 3, 3,4 ,1 ,1,2 , 4,1,2],
'Year': [2014,2015,2014,2015,2014,2015,2016,2017,2016,2014,2015,2017],
'Points':[876,789,863,673,741,812,756,788,694,701,804,690]}
df = pd.DataFrame(ipl_data)
df
#经过groupby后会生成一个groupby对象，该对象本身不会返回任何东西，只有当相应的方法被调用才会起作用
group_year = df.groupby('Year')
#对于groupby函数而言，分组的依据是非常自由的，只要是与数据框长度相同的列表即可，同时支持函数型分组
np.random.choice(['a','b','c'],df.shape[0])
df.groupby(np.random.choice(['a','b','c'],df.shape[0])).get_group('a')
#函数型分组
df.groupby(lambda x:'奇数行' if df.index.get_loc(x)%2==1 else '偶数行').get_group('奇数行')
1.1 索引groups
#索引全部groups，返回Dict
group_year.groups
#索引单个group，返回Dataframe
group_year.get_group(2014)
#索引单列
group_year['Rank'].mean()>1
#遍历groups
for name,group in group_year:
name
group
1.2 常用方法
输出groups每个组前几行、统计groups大小...
#对分组对象使用head函数，返回的是每个组的前几行，而不是数据集前几行
group_year.head(1)
group_year.size()
#Compute count of group, excluding missing values.
group_year.count()
更多方法参考官方文档：https://pandas.pydata.org/pandas-docs/stable/reference/groupby.html
2. Apply（SAC中的A）
2.1 聚合（Aggregation）
所谓聚合就是把一堆数，变成一个标量，因此mean/sum/size/count/std/var/sem/describe/first/last/nth/min/max都是聚合函数，也可以使用自定义函数
group_year['Points'].agg('mean')
#同时使用多个聚合函数
group_year.agg(['sum','mean','std'])
#利用元组进行重命名
group_year.agg([('rename_sum','sum'),('rename_mean','mean')])
#指定哪些函数作用哪些列
group_year.agg({'Rank':['mean','max'],'Points':'var'})
#自定义函数
#agg函数的传入是分组逐列进行+自定义函数，就可以做许多事情
group_year['Rank'].agg(lambda x:x.max()-x.min())
2.2 过滤（Filteration）
filter函数是用来筛选某些组的（务必记住结果是组的全体），传入的值应当是布尔标量
相比不分组直接过滤，区别是，如果这个组有一个不满足，整个组都被过滤掉了
group_year.filter(lambda x: (x['Points']> 680).all())
2.3 变换（Transformation）
transform传入的值是一个函数，函数作用对象是各个组的列，并且返回值需要与列长完全一致。如果返回了标量值，那么组内的所有元素会被广播为这个值。
transform与Aggregation的区别在于，transform返回一列值，Aggregation返回一个值
group_year.transform(lambda x:x-x.min())
group_year.transform(lambda x:x.mean())
2.4 综合
apply传入的值是函数。apply函数像是其他分组函数的综合体，可以实现其他函数的所有功能。正因为如此，在所有的分组函数中，apply是应用最为广泛的。但是正因为它的灵活性，导致它的效率没有那些具有特定功能的函数的效率高，比如：transform、aggregation
#返回值是列表
group_year[['Rank','Points']].apply(lambda x:x-x.min())
#返回值是标量
group_year[['Rank','Points']].apply(lambda x:x.mean())
最后给大家留几个思考题：
- 整合、变换、过滤三者在输入输出和功能上有何异同
- 既然索引已经能够选出某些符合条件的子集，那么filter函数的设计有什么意义？
代码地址
https://github.com/maoweixy/machine-learning/blob/master/Snippet/Pandas_Snippet.ipynbgithub.com
