探索变量之间的关系
引言
深入探索分析数据价值有几个重要步骤:①变量的分布检验,②探索变量间的关系,③建立关系模型,④评估,⑤总结结论与建议。接下来看看数据分析的重要一环–「探索变量间的关系」。
1 思路
探索数据变量之间是否存在某种关系/关联。大致步骤有:
- 变量的类型:类别型/数值型;
- 可视化给出可能的方向:散点图、箱型图、直方图、…;
- 更严格的检验:假设检验。假设变量间存在某种函数/逻辑等关联关系,进行检验。
2 工具及数据
工具:我们用python3,jupyter notebook编辑器。先导入python数据分析常用的几个库。
import numpy as np #科学计算基础库,多维数组对象ndarray
import pandas as pd #数据处理库,DataFrame(二维数组)
import matplotlib as mpl #画图基础库
import matplotlib.pyplot as plt #最常用的绘图库
from scipy import stats #scipy库的stats模块
mpl.rcParams["font.family"]="SimHei" #使用支持的黑体中文字体
mpl.rcParams["axes.unicode_minus"]=False # 用来正常显示负号 "-"
plt.rcParams['font.sans-serif']=['SimHei'] # 用来正常显示中文标签
# % matplotlib inline #jupyter中用于直接嵌入图表,不用plt.show()
import warnings
warnings.filterwarnings("ignore") #用于排除警告
#用于显示使用库的版本
print("numpy_" + np.__version__)
print("pandas_" + pd.__version__)
print("matplotlib_"+ mpl.__version__)
案例数据:某餐厅顾客消费记录数据作为主要的案例数据。数据源:
'''
某餐厅顾客消费记录.
解释数据结构:
total_bill:消费,
tip:小费,
sex:服务员性别,
smoker:是否抽烟,
day:星期几,
time:午餐/晚餐,
size:本桌人数
'''
tips = pd.read_csv(r"E:\tips.txt",sep='\t',encoding='utf-8')
#导入txt格式数据
print("样本量:",tips.shape)
display(tips.sample(3)) #随机抽样3行
display(tips.describe()) #统计信息
display(tips.info()) #是否有空值
类别型与类别型数据独立性检验
卡方检验(通用)、费舍尔检验(小样本)
通用:卡方检验
小样本:费舍尔检验(劣势:只能检验2*2) 问题1:探索案例数据中服务员性别与星期几的关系?类别型与类别型变量需要生成交叉表,用pd.crosstab()
'''①看变量的类型:类别型/数值型'''
#两个变量均是类别型数据,统计往往是进行分类汇总,
#需要生成交叉表,用pd.crosstab()
display(tips.sample(3)) #随机抽样3行
statistics = tips[["sex","day"]].describe() #统计
display(statistics)
count=pd.crosstab(tips.sex, tips.day)
display(count)
'''②可视化给出可能的方向'''
count.T.plot(kind='bar')
plt.show()
'''③假设检验:卡方检验'''
count=pd.crosstab(tips.sex, tips.day) #构造交叉表
print(stats.chi2_contingency(count,correctinotallow=False))
#chi2 卡方检验 contingency列联表 列联表中每个格子数量至少为5
#对性别和星期几进行卡方检验
chi2,p,dof,ex = stats.chi2_contingency(count, correctinotallow=False)
#卡方检验,p值很小,检验AB有关,拒绝原假设H0无关的说法
print(p)
#P值很小,拒绝原假设,说明性别与星期几有关系
#独立性检验中,H0:A,B无关,H1:A,B有关系
'''
输出结果:
(13.22, 0.00418, 3, array([[ 6.77, 31.02 , 27.098, 22.1065],
[12.225, 55.979 , 48.901, 39.893]]))
0.00418
'''
小样本:费舍尔精确检验
用费舍尔检验(劣势:只能检验2*2)。问题2:探索服务员性别与顾客是否吸烟是否有关?
count=pd.crosstab(tips.sex,tips.smoker)
display(count)
count.plot(kind='bar')
plt.show()
oddsratio,pvalue=stats.fisher_exact(count) #费舍尔精确检验
print(oddsratio,pvalue)
#P值很大,接受原假设H0,A,B无关,即此处吸烟与男女比例无关
#如果修改一下列联表中数据
# count.iat[0,0]=2 #手动将交叉表中的[0,0]位置的元素修改为2
count.iloc[0:1,0:1]=2 #手动将交叉表中的[0,0]位置的元素修改为2
print(count)
oddsratio,pvalue=stats.fisher_exact(count) ##费舍尔精确检验
print(oddsratio,pvalue)
# 0.03748828491096532 3.9900059898475383e-10
#P值很小,拒绝H0,吸烟和男女有关系
#fisher精确检验的优势:每个表格中数据不一定大于五
# 费舍尔精确检验劣势:只能检验2*2
chi2,p,dof,ex = stats.chi2_contingency(count, correctinotallow=False)
#卡方检验
print(p) # 1.9484526423911992e-09
#卡方检验结果:P值很小,拒绝H0,吸烟和男女有关系
数值型与数值型独立性检验
pearson、spearman和Kendall’s Tau
pearson:积差相关系数,假设变量为正态分布,反应两个变量之间的「线性相关性」。
spearman:等级相关系数(Ranked data)—常用。先对所有变量进行排序,再做线性相关。与pearson不同,不假设变量为正态分布。
Kendall’s Tau:非参数等级相关系数。tau=(P-Q)/sqrt((P+Q+T)*(P+Q+U))其中,P:同步数据对数,Q:异步,T:tie in x,U:tie in y
区别及选用
pearson和spearman区别:
- 如果有线性模式,也有一些离散点,spearman线性相关系数要大一些,因为离散点破坏了线性相关性,但是对rank排序影响不大。pearson只能处理两组数据,spearman可以处理多组序列。
如何选择:
- Kendall’s tau-b(肯德尔)等级相关系数:用于反映分类变量相关性的指标,适用于两个分类变量均为有序分类的情况。对相关的有序变量进行非参数相关检验;取值范围在-1-1之间,此检验适合于正方形表格;
- 计算积距pearson相关系数,连续性变量才可采用;计算Spearman秩相关系数,适合于定序变量或不满足正态分布假设的等间隔数据; 计算Kendall秩相关系数,适合于定序变量或不满足正态分布假设的等间隔数据。
- 计算相关系数:当资料不服从双变量正态分布或总体分布未知,或原始数据用等级表示时,宜用 spearman或kendall相关。
总结:在大多数情况下选用spearman检验即可。
'''可视化给出可能的方向'''
plt.scatter(tips.total_bill,tips.tip)
plt.title("total_bill与tip散点图")
plt.xlabel("total_bill")
plt.ylabel("tip")
plt.show()
#pearson就是统计学中学过的相关系数
print(stats.pearsonr(tips.total_bill,tips.tip))
#线性相关度和P值
#相关系数=0.6757341092113643,p=6.692470646864041e-34
#p<0.01,拒绝原假设,存在相关性
# spearman:等级相关系数(Ranked data)
rho,pval=stats.spearmanr(tips.total_bill,tips.tip)
print(rho,pval)
#p<0.01,拒绝原假设,两变量存在相关性
#多组数据的spearmanr独立性检验
x2n=np.random.randn(100,2)
y2n=np.random.randn(100,2)
rho,pval=stats.spearmanr(x2n,y2n)
print(rho)
print(pval)
print("\n")
rho,pval=stats.spearmanr(x2n.T,y2n.T,axis=1)
print(rho)
print(pval)
#Kendall's Tau:非参数等级相关系数
x=[1, 2, 3, 4, 5, 5, 4, 6,-1]
y=[3, 4, 3, 4, 5, 5, 3, 7, 7]
'''
tau=(P-Q)/sqrt((P+Q+T)*(P+Q+U))
P:同步数据对数,Q:异步,T:tie in x,U:tie in y
x中1-2增加,y中3-4增加,即为同步P
x中2-3增加,y中4-3减少,即为异步Q
x中两个数相等,但y中不相等,即为T
y中两个数相等,但x中不相等,即为U
'''
plt.scatter(x,y)
plt.title("x与y散点图")
plt.xlabel("x")
plt.ylabel("y")
plt.show()
tau, p_value = stats.kendalltau(x,y)
#Kendall's Tau:非参数等级相关系数
print(tau, p_value)
#p>0.05,接受原假设,不相关
rho,pval=stats.spearmanr(x,y)
#用spearmanr独立性检验
print(rho,pval)
#p>0.05,接受原假设,不相关
数值型与类别型独立性检验
- t检验:比较两个样本(比较两组均值);
- Kolmogorov-Smirnov 双样本检测 ks_2samp(比较两组分布);
- 单因素ANOVA方差分析检验;
- ANOVA的非参数版本:Kruskal-Wallis H-test
问题3:服务员男女性别中顾客给小费是否不同?
t检验:比较两个样本(比较两组均值)
rvs1 = stats.norm.rvs(loc=5, scale=10, size=500)
rvs2 = stats.norm.rvs(loc=5, scale=10, size=500)
print(stats.ttest_ind(rvs1, rvs2))
# Ttest_indResult(statistic=-0.30, pvalue=0.76)
#p值较大,接受原假设,两个样本的均值无明显差异
rvs1=tips[tips['sex']=='Male']['tip']
print(rvs1.mean())
rvs2=tips[tips['sex']=='Female']['tip']
print(rvs2.mean())
print(stats.ttest_ind(rvs1, rvs2))
#P值较大,不能拒绝原假设:男女性别与小费的多少无关
'''
3.0896178343949052
2.833448275862069
Ttest_indResult(statistic=1.38, pvalue=0.166)
'''
#如果同一个样本重复抽样,
# stats.ttest_rel()需要用这个检验,
# 但必须保证两组数据长度相等
print(stats.ttest_rel(rvs1[:87],rvs2))
#Ttest_relResult(statistic=1.36, pvalue=0.17)
#t检验比较的是两组数的点估计和理想值得比较
Kolmogorov-Smirnov 双样本检测 ks_2samp(比较两组分布)
rvs1=tips[tips['sex']=='Male']['tip']
rvs2=tips[tips['sex']=='Female']['tip']
print(stats.ks_2samp(rvs1, rvs2))
#p值较大,接受原假设,两样本的分布不存在差异
#画图检验一下,加上total_bill作为x轴,tip作为y轴
plt.title("total_bill与tip关系图")
plt.xlabel('total_bill')
plt.ylabel('tip')
plt.plot(tips[tips['sex']=='Male']['total_bill'],tips[tips['sex']=='Male']['tip'],'bo',label='Male')
plt.plot(tips[tips['sex']=='Female']['total_bill'],tips[tips['sex']=='Female']['tip'],'go',label='Female')
plt.legend(["Male","Female"],loc="best", frameon=True, title=" sex", ncol=1)
plt.show()
#进一步探索,费率,在国外餐厅费率即指小费/消费
rvs1=tips[tips['sex']=='Male']['tip']/tips[tips["sex"]=='Male']['total_bill']
rvs2=tips[tips['sex']=='Female']['tip']/tips[tips["sex"]=='Female']['total_bill']
fig, (ax0, ax1) = plt.subplots(ncols=2, figsize=(10, 4))
ax0.set_title('Male')
ax0.set_xlabel("tip/total_bill")
ax0.set_ylabel("数量")
ax0.hist(rvs1, bins=50, facecolor='g', alpha=0.8)
ax1.set_title('Female')
ax1.set_xlabel("tip/total_bill")
ax1.set_ylabel("数量")
ax1.hist(rvs2, bins=50, rwidth=0.8)
#fig.tight_layout()
plt.show()
#从两个直方图上看有些分布相似,但需要进一步探索
#看一下均值和标准差
print('Male:',rvs1.mean(),rvs1.std())
print('Female:',rvs2.mean(),rvs2.std())
#t检验(均值是否有明显不同,原假设是均值基本一样无差异)
print(stats.ttest_ind(rvs1, rvs2))
#P值较大,不能拒绝原假设:男女性别对费率的影响无差异
#正态分布检验
print(stats.normaltest(rvs1)) #结果拒绝
print(stats.normaltest(rvs2)) #结果拒绝
print(stats.ks_2samp(rvs1, rvs2)) #判断两样的分布是否存在差异
# p=0.084,可以说是接受原假设,具有相同的分布,但是正态分布检验拒绝了,所以还可以做更多的探索
# 由于p值相对较小,也可以说拒绝原假设,不具有相同的分布,p值的大小需要根据实际业务逻辑进行设定
# 最常见的p值设置是0.01,0.05,0.1三个阀值
# ANOVA方差分析、ANCOVA协方差分析、MANOVA多因素方差分析等方法做更多的探索
单因素ANOVA方差分析
原假设H0:所有组的均值相同.
方差分析检验对数据的假设条件:
- 样本之间相互独立
- 样本均来自正态分布
- 方差齐次性:各组方差相等
对误差平方和,因素平方和进行F检验。如果F检验为1左右,认为不能拒绝原假设. print(stats.f_oneway(rvs1,rvs2))
#接着上面构造的数据
rvs1=tips[tips['sex']=='Male']['tip']/tips[tips["sex"]=='Male']['total_bill']
rvs2=tips[tips['sex']=='Female']['tip']/tips[tips["sex"]=='Female']['total_bill']
print(stats.f_oneway(rvs1,rvs2))
#p=0.279710384960558,认为不能拒绝原假设,rvs1与rvs2均值相同
'''
注意:
原假设的条件,其中方差齐次性:各组方差近似相等。
如何检验方差齐次性假设?
方差齐次性:stats.fligner(rvs1,rvs2) # 原假设方差近似相等
'''
x=[1,2,3,4,5]
y=[1,2,3,4,5]
print(stats.fligner(x,y))
print('两组数的方差:',rvs1.var(),rvs2.var())
print(stats.fligner(rvs1,rvs2))
#在方差检验过程中我们也接受方差是齐次的,虽然方差是不相等的,但相差不大
ANOVA的非参数版本:Kruskal-Wallis H-test
H0: 各组中值近似相等.
- 对数据亦有假设条件:Chi2分布,因此样本容量需不小于5.
- stats.kruskal(rvs1,rvs2)
- 相比单因素ANOVA方差分析更宽松.
rvs1=tips[tips['sex']=='Male']['tip']/tips[tips["sex"]=='Male']['total_bill']
rvs2=tips[tips['sex']=='Female']['tip']/tips[tips["sex"]=='Female']['total_bill']
print(stats.kruskal(rvs1,rvs2))
# KruskalResult(statistic=2.235, pvalue=0.1349)
#p值较大,接受原假设,即中位数基本相同,两组变量无明显差异,且相互独立
练习
问题:星期几对小费是否有影响?
#练习:星期几对小费是否有影响
# 类别型与数值型
display(pd.crosstab(tips.tip,tips.day).head()) #生成交叉表
Thur=tips[tips['day']=='Thur']['tip']
Fri=tips[tips['day']=='Fri']['tip']
Sat=tips[tips['day']=='Sat']['tip']
Sun=tips[tips['day']=='Sun']['tip']
print(stats.f_oneway(Thur,Fri,Sat,Sun)) #单因素ANOVA方差分析
#F_onewayResult(statistic=1.67, pvalue=0.17)
'''
方差分析检验对数据得假设:
1.样本之间相互独立
2.样本均来自正态分布
3.方差齐次性:各组方差相等
'''
print(stats.fligner(rvs1,rvs2)) #方差齐次性检验
#FlignerResult(statistic=1.618, pvalue=0.203)
#P值较大,认为方差齐次
#如果不满足以上任意一条
'''
ANOVA的非参数版本
Kruskal-Wallis H-test
H0:各组中值相等
对数据也有假设:Chi2卡方分布,因此样本容量需不小于5
给出得结果宽松一些,没有ANOVA强
'''
count=pd.crosstab(tips.tip,tips.day).head() #构造交叉表
print(stats.chi2_contingency(count,correction=False))
#卡方检验,p值较大,各类别变量间相互独立
print(stats.kruskal(rvs2,rvs1))
#ANOVA的非参数版本检验
#KruskalResult(statistic=0.76, pvalue=0.38)