前言

上一节我们重点介绍了针对文本条件的统计方式,这次来把数值相关的讲解一下,并且用一个 Excel 操作思维带你理解 pandas 的运算逻辑。

继续使用泰坦尼克号沉船事件的乘客名单作为例子:


统计人数mySQL 统计人数excel表格_数据处理


  • pclass:船舱等级
  • survived:是否生还
  • fare:票价
  • sex:性别
  • home.dest:住址

如果你看过上一节文章,想必应该理解到,在 pandas 中,不管是数值或是文本的条件统计,本质都是构造条件 bool 列,之后的处理是一样的。

废话少说,直接看各种复杂需求!


案例1:简单需求

"30岁以上的人数"

先看看 Excel 函数公式的做法:


统计人数mySQL 统计人数excel表格_数据处理_02


  • 简单使用 countifs 即可
  • 注意,第二个参数使用文本(双引号包围),主要是因为需要使用 大于号。这使得函数公式的语义更好

pandas 中数值条件也很非常容易表达:


统计人数mySQL 统计人数excel表格_数据处理_03


  • 行1:df.age >30 构造出"年龄大于30"的 bool 列


统计人数mySQL 统计人数excel表格_数据处理_04


与 Excel之间的关系

你会发现,其实 pandas 中的运算操作,与 Excel 函数公式的运算是非常相似(数组公式更相似),pandas 的操作就像你在第一行写了一个处理逻辑公式,他就自动为你把逻辑公式复制一整列。

不知道我说啥?看看下面的 Excel 操作演示,来实现"30岁以上的人数":

代码 df.age >30 相当于如下操作:


统计人数mySQL 统计人数excel表格_代码 统计性别人数_05


  • pandas 代码, df.age >30 ,构造出条件 bool 列,过程如上
  • 在数据旁边新增一列,直接执行 C2 单元格是否大于30,结果是一个 bool 值
  • 由于 pandas 代码是直接指定 年龄 列是否大于30,因此相当于自动把 E2 单元格的公式复制下去

此时,代码 df[cond] ,相当于如下操作:


统计人数mySQL 统计人数excel表格_数据_06


  • df[cond] 相当于 df[df.age > 30]
  • 相当于在辅助列上做筛选,把 true 值的行筛选出来!
  • 所以你会发现,如果只是执行 df[cond] ,得到的是那些年龄大于30的行

如果你熟悉 Excel 的功能,你可能会说:"这不就是智能表格?!"

是的,智能表格更能体现,如下:


统计人数mySQL 统计人数excel表格_Python_07


  • 创建表格


统计人数mySQL 统计人数excel表格_数据_08


  • 在表格旁边输入公式
  • 注意此时公式中的引用不是单元格地址,而是直接以列名显示
  • 这个地方与 pandas 非常相似,这是因为他们都是在表达,你在操作一个有结构的表格

当你按下回车,公式自动填充:


统计人数mySQL 统计人数excel表格_代码 统计性别人数_09




统计人数mySQL 统计人数excel表格_数据处理_10


其他各种需求

当你理解了上面的思路,那么只要你熟悉 pandas 各种构造 bool 列的技巧,各种需求基本难不倒你。

"30岁以上 男女的人数":


统计人数mySQL 统计人数excel表格_数据_11


一个个写,太麻烦了,直接条件筛选,分组统计:


统计人数mySQL 统计人数excel表格_代码 统计性别人数_12



"男女高于各自性别的平均年龄的人数"


统计人数mySQL 统计人数excel表格_统计人数mySQL_13


  • 有没有发现男性的人数与之前需求的人数很接近?因为刚好男性的平均年龄在30岁左右

当然,还是可以直接分组统计的:


统计人数mySQL 统计人数excel表格_数据_14



"男女各自年龄最小的人的资料":


统计人数mySQL 统计人数excel表格_数据处理_15


  • 他们都在 S 港口上船,同是三等舱
  • 女生获救了,男生遇难了

"男女各自年龄最大的人的资料":


统计人数mySQL 统计人数excel表格_代码 统计性别人数_16


  • 他们都是在 S 港口上船,同是一等舱
  • 他们都获救了
  • 一等舱可能更靠近甲板,逃生更容易

最后来一个复杂一点的需求。

"看看各个年龄段,男女的生还情况":


统计人数mySQL 统计人数excel表格_Python_17