python 第一列pd Python 第一列没有指标

本文示例数据下载，密码:vwy3

import pandas as pd
import numpy as np
# 数据是之前在cnblog上抓取的部分文章信息
df = pd.read_csv('./data/SQL测试用数据_20200325.csv',encoding='utf-8')
df.head(3)
单列统计
单列单统计指标
# 计数(不去重)，不会将NaN值计算在内
df['read_cnt'].count()
# 比如我们来做个试验
# 选择几个单元格，之前都是有数值的
print(df.loc[2:4,'read_cnt'])
# 然后将值设定为NaN
df.loc[2:4,'read_cnt'] = None
print(df.loc[2:4,'read_cnt'])
# 看看count()结果
print(df['read_cnt'].count())
# 数据恢复原样
df.loc[2:4,'read_cnt'] = [142,158,132]
# 计数(去重)，不会将NaN值计算在内
# 使用nunique()方法
df['blog_name'].nunique()
常见统计指标
求和 .sum()
最大值 .min()
最小值 .min()
均值 .mean()
中位数 .median()
方差 .var()
标准差.std()
偏度 .skew()
峰度 .kurtosis()
百分位数 .quantile()， df.quantile(0.5)相当于中位数
单列多统计指标
# 求和，计数，均值
df['read_cnt'].aggregate(func=['sum','count','mean'])
多列统计
多列相同统计指标
# 去重计数，相当于sql中的count(distinct)
df.nunique()
df.describe() # 只对数值列有效
# 选定多列同时计算多个相同的指标
df[['href','blog_name']].aggregate(func=['nunique','count'])
多列不同统计指标
# 对blog_name字段去重计数
# 对read_cnt计算求和、均值
df[['blog_name','read_cnt']].aggregate(func={'blog_name':'nunique','read_cnt':['sum','mean']})
分组统计
df.groupby
单字段单指标
这里的单字段是指统计用的value列
df.groupby('weekday')['read_cnt'].nunique()
单字段多指标
df.groupby('weekday')['read_cnt'].aggregate(func=['sum','mean']).reset_index()
# 多个分组字段
df.groupby(['weekday','hour'])['read_cnt'].aggregate(func=['sum','mean']).reset_index()
多字段相同指标
# 除了分组字段外，其他字段都参与计算
df.groupby('weekday').count().reset_index()
# 指定多个字段
# 注意多个字段要以list的格式包裹
df.groupby('weekday')[['blog_name','date']].nunique().reset_index()
# 多字段统一计算相同指标
df.groupby('weekday').aggregate(func=['nunique','count']).reset_index()
多字段不同指标
df.groupby('weekday')[['blog_name','read_cnt']]\
.aggregate(func={'blog_name':'nunique','read_cnt':['median','mean']})\
.reset_index()
df.pivot_table
pd.pivot_table主要参数说明：
data 参与计算的dataframe
values 需要进行统计计算的列，可以是单列或多列(e.g.['col_1','col_2'])
index 位于左侧的维度
columns 位于上方的维度
aggfunc 统计要用的函数，可以同时对多个字段计算多个统计值，也可以对每个字段设置不同的统计指标
aggfunc = ['sum','np.sum','mean','count']
aggfunc = {'col_1':'sum','col_2':['sum','mean']}
fill_value 对缺失值设定填充值
margins 默认False，是否要对行和列汇总，只有设定了index参数才有效
dropna=True,是否删除NaN
margins_name='All', 汇总的行或列的名称
df.pivot_table中的参数和pd.pivot_table保持一致
单字段单指标
# index和columns可以不用同时设置值
# 对比一下两者的差异
# index是将分组的字段放到统计表格的左侧
pd.pivot_table(df, values='read_cnt'\
,index='weekday'\
,aggfunc='sum').reset_index()
# columns是将制定的分组字段放到统计table的正上方
pd.pivot_table(df, values='read_cnt'\
,columns='weekday'\
,aggfunc='sum').reset_index()
# index和columns同时设定的效果
pd.pivot_table(df, values='read_cnt'\
,index='hour'\
,columns='weekday'\
,aggfunc='sum').reset_index()
为了便于演示计算字段(values)和统计指标(aggfunc)的操作，后续只使用index字段分组
单字段多指标
pd.pivot_table(df, values='read_cnt'\
,index='weekday'\
,aggfunc=['sum','mean']).reset_index()
多字段相同指标
# 对blog_name,date两个字段去重计数
pd.pivot_table(df, values=['blog_name','date']\
,index='weekday'\
,aggfunc= lambda x :x.nunique()).reset_index()
# 这里的lambda函数也可以定义为 lambda x:len(x.unique())
多字段不同指标
pd.pivot_table(df, values=['blog_name','read_cnt']\
,index='weekday'\
,aggfunc={'blog_name':lambda x: x.nunique(),'read_cnt':['sum','mean']}).reset_index()
其他补充
# 实现rollup的操作
df_stat = pd.pivot_table(df, values='read_cnt'\
,index=['weekday']
,columns='hour'\
,aggfunc='sum',margins=True).unstack()
pd.DataFrame(df_stat).head(30)