pandas提供了一个灵活高效的groupby功能，它使你能以一种自然的方式对数据集进行切片、切块、摘要等操作。
- 根据一个或多个键（可以是函数、数组或DataFrame列名）拆分pandas对象。
- 计算分组摘要统计，如计数、平均值、标准差，或用户自定义函数。
- 对DataFrame的列应用各种各样的函数。
- 应用组内转换或其他运算，如规格化、线性回归、排名或选取子集等。
- 计算透视表或交叉表。
- 执行分位数分析以及其他分组分析。
1、分组键可以有多种形式，且类型不必相同
- 列表或数组，其长度与待分组的轴一样。
- 表示DataFrame某个列名的值。
- 字典或Series，给出待分组轴上的值与分组名之间的对应关系。
- 函数，用于处理轴索引或索引中的各个标签。
注意：
后三种都只是快捷方式而已，其最终目的仍然是产生一组用于拆分对象的值。
2、首先来看看下面这个非常简单的表格型数据集（以DataFrame的形式）：
1. >>> import pandas as pd
2. >>> df = pd.DataFrame({'key1':['a', 'a', 'b', 'b', 'a'],
3. ... 'key2':['one', 'two', 'one', 'two', 'one'],
4. ... 'data1':np.random.randn(5),
5. ... 'data2':np.random.randn(5)})
6. >>> df
7. data1 data2 key1 key2
8. 0 -0.410673 0.519378 a one
9. 1 -2.120793 0.199074 a two
10. 2 0.642216 -0.143671 b one
11. 3 0.975133 -0.592994 b two
12. 4 -1.017495 -0.530459 a one
假设你想要按key1进行分组，并计算data1列的平均值，我们可以访问data1，并根据key1调用groupby：
1. >>> grouped = df['data1'].groupby(df['key1'])
2. >>> grouped
3. <pandas.core.groupby.SeriesGroupBy object at 0x04120D70>
变量grouped是一个GroupBy对象，它实际上还没有进行任何计算，只是含有一些有关分组键df['key1']的中间数据而已，然后我们可以调用GroupBy的mean方法来计算分组平均值：
1. >>> grouped.mean()
2. key1
3. a -1.182987
4. b 0.808674
5. dtype: float64
说明：
数据（Series）根据分组键进行了聚合，产生了一个新的Series，其索引为key1列中的唯一值。之所以结果中索引的名称为key1，是因为原始DataFrame的列df['key1']就叫这个名字。
3、如果我们一次传入多个数组，就会得到不同的结果：
1. >>> means = df['data1'].groupby([df['key1'], df['key2']]).mean()
2. >>> means
3. key1 key2
4. a one -0.714084
5. 2.120793
6. b one 0.642216
7. 0.975133
8. dtype: float64
通过两个键对数据进行了分组，得到的Series具有一个层次化索引（由唯一的键对组成）：
1. >>> means.unstack()
2. key2 one two
3. key1
4. a -0.714084 -2.120793
5. b 0.642216 0.975133
在上面这些示例中，分组键均为Series。实际上，分组键可以是任何长度适当的数组：
1. >>> states = np.array(['Ohio', 'California', 'California', 'Ohio', 'Ohio'])
2. >>> years = np.array([2005, 2005, 2006, 2005, 2006])
3. >>> df['data1'].groupby([states, years]).mean()
4. California 2005 -2.120793
5. 2006 0.642216
6. Ohio 2005 0.282230
7. 2006 -1.017495
8. dtype: float64
4、此外，你还可以将列名（可以是字符串、数字或其他Python对象）用作分组将：
1. >>> df.groupby('key1').mean()
2. data1 data2
3. key1
4. a -1.182987 0.062665
5. b 0.808674 -0.368333
6. >>> df.groupby(['key1', 'key2']).mean()
7. data1 data2
8. key1 key2
9. a one -0.714084 -0.005540
10. 2.120793 0.199074
11. b one 0.642216 -0.143671
12. 0.975133 -0.592994
说明：
在执行df.groupby('key1').mean()时，结果中没有key2列。这是因为df['key2']不是数值数据，所以被从结果中排除了。默认情况下，所有数值列都会被聚合，虽然有时可能会被过滤为一个子集。
无论你准备拿groupby做什么，都有可能会用到GroupBy的size方法，它可以返回一个含有分组大小的Series：
1. >>> df.groupby(['key1', 'key2']).size()
2. key1 key2
3. a one 2
4. 1
5. b one 1
6. 1
7. dtype: int64
注意：
分组键中的任何缺失值都会被排除在结果之外。
5、对分组进行迭代
GroupBy对象支持迭代，可以产生一组二元元组（由分组名和数据块组成）。看看下面这个简单的数据集：
1. >>> for name, group in df.groupby('key1'):
2. ... print(name)
3. ... print(group)
4. ...
5. a
6. data1 data2 key1 key2
7. 0 -0.410673 0.519378 a one
8. 1 -2.120793 0.199074 a two
9. 4 -1.017495 -0.530459 a one
10. b
11. data1 data2 key1 key2
12. 2 0.642216 -0.143671 b one- 3 0.975133 -0.592994 b two
对于多重键的情况，元组的第一个元素将会是由键值组成的元组：
1. >>> for (k1, k2), group in df.groupby(['key1', 'key2']):
2. ... print k1, k2
3. ... print group
4. ...
5. a one
6. data1 data2 key1 key2
7. 0 -0.410673 0.519378 a one
8. 4 -1.017495 -0.530459 a one
9. a two
10. data1 data2 key1 key2
11. 1 -2.120793 0.199074 a two
12. b one
13. data1 data2 key1 key2
14. 2 0.642216 -0.143671 b one
15. b two
16. data1 data2 key1 key2
17. 3 0.975133 -0.592994 b two
当然，你可以对这些数据片段做任何操作。有一个你可能会觉得有用的运算：将这些数据片段做成一个字典：
1. >>> pieces = dict(list(df.groupby('key1')))
2. >>> pieces['b']
3. data1 data2 key1 key2
4. 2 0.642216 -0.143671 b one
5. 3 0.975133 -0.592994 b two
6. >>> df.groupby('key1')
7. <pandas.core.groupby.DataFrameGroupBy object at 0x0413AE30>
8. >>> list(df.groupby('key1'))
9. [('a', data1 data2 key1 key2
10. 0 -0.410673 0.519378 a one
11. 1 -2.120793 0.199074 a two
12. 4 -1.017495 -0.530459 a one), ('b', data1 data2 key1 key2
13. 2 0.642216 -0.143671 b one
14. 3 0.975133 -0.592994 b two)]
groupby默认是在axis=0上进行分组的，通过设置也可以在其他任何轴上进行分组。那上面例子中的df来说，我们可以根据dtype对列进行分组：
1. >>> df.dtypes
2. data1 float64
3. data2 float64
4. key1 object
5. key2 object
6. dtype: object
7. >>> grouped = df.groupby(df.dtypes, axis=1)
8. >>> dict(list(grouped))
9. {dtype('O'): key1 key2
10. 0 a one
11. 1 a two
12. 2 b one
13. 3 b two
14. 4 a one, dtype('float64'): data1 data2
15. 0 -0.410673 0.519378
16. 1 -2.120793 0.199074
17. 2 0.642216 -0.143671
18. 3 0.975133 -0.592994
19. 4 -1.017495 -0.530459}
1. >>> grouped
2. <pandas.core.groupby.DataFrameGroupBy object at 0x041288F0>
3. >>> list(grouped)
4. [(dtype('float64'), data1 data2
5. 0 -0.410673 0.519378
6. 1 -2.120793 0.199074
7. 2 0.642216 -0.143671
8. 3 0.975133 -0.592994
9. 4 -1.017495 -0.530459), (dtype('O'), key1 key2
10. 0 a one
11. 1 a two
12. 2 b one
13. 3 b two
14. 4 a one)]
6、选取一个或一组列
对于由DataFrame产生的GroupBy对象，如果用一个（单个字符串）或一组（字符串数组）列名对其进行索引，就能实现选取部分列进行聚合的目的，即：
1. >>> df.groupby('key1')['data1']
2. <pandas.core.groupby.SeriesGroupBy object at 0x06615FD0>
3. >>> df.groupby('key1')['data2']
4. <pandas.core.groupby.SeriesGroupBy object at 0x06615CB0>
5. >>> df.groupby('key1')[['data2']]
6. <pandas.core.groupby.DataFrameGroupBy object at 0x06615F10>
和以下代码是等效的：
1. >>> df['data1'].groupby([df['key1']])
2. <pandas.core.groupby.SeriesGroupBy object at 0x06615FD0>
3. >>> df[['data2']].groupby([df['key1']])
4. <pandas.core.groupby.DataFrameGroupBy object at 0x06615F10>
5. >>> df['data2'].groupby([df['key1']])
6. <pandas.core.groupby.SeriesGroupBy object at 0x06615E30>
尤其对于大数据集，很可能只需要对部分列进行聚合。例如，在前面那个数据集中，如果只需计算data2列的平均值并以DataFrame形式得到结果，代码如下：
1. >>> df.groupby(['key1', 'key2'])[['data2']].mean()
2. data2
3. key1 key2
4. a one -0.005540
5. 0.199074
6. b one -0.143671
7. 0.592994
8. >>> df.groupby(['key1', 'key2'])['data2'].mean()
9. key1 key2
10. a one -0.005540
11. 0.199074
12. b one -0.143671
13. 0.592994
14. Name: data2, dtype: float64
这种索引操作所返回的对象是一个已分组的DataFrame（如果传入的是列表或数组）或已分组的Series（如果传入的是标量形式的单个列明）：
1. >>> s_grouped = df.groupby(['key1', 'key2'])['data2']
2. >>> s_grouped
3. <pandas.core.groupby.SeriesGroupBy object at 0x06615B10>
4. >>> s_grouped.mean()
5. key1 key2
6. a one -0.005540
7. 0.199074
8. b one -0.143671
9. 0.592994
10. Name: data2, dtype: float64
7、通过字典或Series进行分组
除数组以外，分组信息还可以其他形式存在，来看一个DataFrame示例：
1. >>> people = pd.DataFrame(np.random.randn(5, 5),
2. ... columns=['a', 'b', 'c', 'd', 'e'],
3. ... index=['Joe', 'Steve', 'Wes', 'Jim', 'Travis']
4. ... )
5. >>> people
6. a b c d e
7. Joe 0.306336 -0.139431 0.210028 -1.489001 -0.172998
8. Steve 0.998335 0.494229 0.337624 -1.222726 -0.402655
9. Wes 1.415329 0.450839 -1.052199 0.731721 0.317225
10. Jim 0.550551 3.201369 0.669713 0.725751 0.577687
11. Travis -2.013278 -2.010304 0.117713 -0.545000 -1.228323
12. >>> people.ix[2:3, ['b', 'c']] = np.nan
假设已知列的分组关系，并希望根据分组计算列的总计：
1. >>> mapping = {'a':'red', 'b':'red', 'c':'blue',
2. ... 'd':'blue', 'e':'red', 'f':'orange'}
3. >>> mapping
4. {'a': 'red', 'c': 'blue', 'b': 'red', 'e': 'red', 'd': 'blue', 'f': 'orange'}
5. >>> type(mapping)
6. <type 'dict'>
现在，只需将这个字典传给groupby即可：
1. >>> by_column = people.groupby(mapping, axis=1)
2. >>> by_column
3. <pandas.core.groupby.DataFrameGroupBy object at 0x066150F0>
4. >>> by_column.sum()
5. blue red
6. Joe -1.278973 -0.006092
7. Steve -0.885102 1.089908
8. Wes 0.731721 1.732554
9. Jim 1.395465 4.329606
10. Travis -0.427287 -5.251905
Series也有同样的功能，它可以被看做一个固定大小的映射。对于上面那个例子，如果用Series作为分组键，则pandas会检查Series以确保其索引跟分组轴是对齐的
：
1. >>> map_series = pd.Series(mapping)
2. >>> map_series
3. a red
4. b red
5. c blue
6. d blue
7. e red
8. f orange
9. dtype: object
10. >>> people.groupby(map_series, axis=1).count()
11. blue red
12. Joe 2 3
13. Steve 2 3
14. Wes 1 2
15. Jim 2 3
16. Travis 2 3
8、通过函数进行分组
相较于字典或Series，Python函数在定义分组映射关系时可以更有创意且更为抽象。任何被当做分组键的函数都会在各个索引值上被调用一次，其返回值就会被用作分组名称。
具体点说，以DataFrame为例，其索引值为人的名字。假设你希望根据人名的长度进行分组，虽然可以求取一个字符串长度数组，但其实仅仅传入len函数即可：
1. >> people.groupby(len).sum()
2. a b c d e
3. 3 2.272216 3.061938 0.879741 -0.031529 0.721914
4. 5 0.998335 0.494229 0.337624 -1.222726 -0.402655
5. 6 -2.013278 -2.010304 0.117713 -0.545000 -1.228323将函数跟数组、列表、字典、Series混合使用也不是问题，因为任何东西最终都会被转换为数组：
1. >>> key_list = ['one', 'one', 'one', 'two', 'two']
2. >>> people.groupby([len, key_list]).min()
3. a b c d e
4. 3 one 0.306336 -0.139431 0.210028 -1.489001 -0.172998
5. 0.550551 3.201369 0.669713 0.725751 0.577687
6. 5 one 0.998335 0.494229 0.337624 -1.222726 -0.402655
7. 6 two -2.013278 -2.010304 0.117713 -0.545000 -1.228323
9、根据索引级别分组
层次化索引数据集最方便的地方在于它能够根据索引级别进行聚合。要实现该目的，通过level关键字传入级别编号或名称即可：
1. >>> columns = pd.MultiIndex.from_arrays([['US', 'US', 'US', 'JP', 'JP'],
2. ... [1, 3, 5, 1, 3]], names=['cty', 'tenor'])
3. >>> columns
4. MultiIndex
5. [US 1, 3, 5, JP 1, 3]
6. >>> hier_df = pd.DataFrame(np.random.randn(4, 5), columns=columns)
7. >>> hier_df
8. cty US JP
9. tenor 1 3 5 1 3
10. 0 -0.166600 0.248159 -0.082408 -0.710841 -0.097131
11. 1 -1.762270 0.687458 1.235950 -1.407513 1.304055
12. 2 1.089944 0.258175 -0.749688 -0.851948 1.687768
13. 3 -0.378311 -0.078268 0.247147 -0.018829 0.744540
14. >>> hier_df.groupby(level='cty', axis=1).count()
15. cty JP US
16. 0 2 3
17. 1 2 3
18. 2 2 3
19. 3 2 3
