python hist多个变量 python多变量分析

转载

西洋无悔 2024-02-26 19:12:09

文章标签 python hist多个变量 python和数据分析的关系数据卡方检验 fish 文章分类 Python 后端开发

#变量之间的关系

importnumpy as npimportpandas as pdimportmatplotlib.pyplot as pltfrom numpy importrandomfrom pandas importSeries,DataFramefrom scipy importstats

tips=pd.read_csv('tips.csv')print(tips)'''1.从单变量到多变量

单变量分析:数字特征，分布

多变量分析：有没有关系，有多大关系'''

#可视化分析：点图

fig=plt.figure(figsize=(8,6))

ax=fig.add_subplot(1,1,1)

ax.plot(np.random.rand(50).cumsum(),'.')

ax.plot(np.random.rand(50).cumsum(),'o')

plt.show()#可视化分析tips.csv

fig,ax=plt.subplots(1,1,figsize=(8,6))#subplots （行，列，.....）

ax.plot(tips[tips['sex']=='Male']['tip'],'o',label='Male')

ax.plot(tips[tips['sex']=='Female']['tip'],'o',label='Female')#label 为了画图例方便

ax.legend(loc='best')

plt.show()#可视化优势：更容易发现'模式'

fig,ax=plt.subplots(1,1,figsize=(8,6))

ax.plot(tips[tips['sex']=='Male']['total_bill'],tips[tips['sex']=='Male']['tip'],'o',label='Male')

ax.plot(tips[tips['sex']=='Female']['total_bill'],tips[tips['sex']=='Female']['tip'],'o',label='Female')

ax.legend(loc='best')

plt.show()

tips['tips_pct']=tips['tip']/tips['total_bill']

tips['tips_pct'].hist(by=tips['sex'],bins=50,range=[0,0.8])

plt.show()#可视化分析：箱线图#boxplot()

rvs1=tips[tips['sex']=='Male']['tips_pct']

rvs2=tips[tips['sex']=='Female']['tips_pct']

plt.boxplot([rvs1,rvs2],labels=['Male','Female'])

plt.show()#进一步探索变量之间的关系#独立性检验#1.类别型~类别型性别与星期几的关系

count=pd.crosstab(tips.sex,tips.day)print(count)'''day Fri Sat Sun Thur

sex

Female 9 28 18 32

Male 10 59 58 30

生成列联表'''count.T.plot(kind='bar')

plt.show()print(stats.chi2_contingency(count,correction=False))#chi2 卡方检验 contingency列联表列联表中每个格子数量至少为5#对性别和星期几进行卡方检验#(13.22200137240661, 0.004180302092822257, 3, array([[ 6.77459016, 31.0204918 , 27.09836066, 22.10655738],#[12.22540984, 55.9795082 , 48.90163934, 39.89344262]]))

chi2,p,dof,ex=stats.chi2_contingency(count,correction=False)#chi2表示卡方检验值，p表示P值，dof表示自由度，ex表示每个格子P（AB）应该的概率

print(p)#0.004180302092822257#P值很小，拒绝原假设，说明性别与星期几有关系#独立性检验中，H0:AB无关，H1:AB有关系

#费舍尔精确检验只能检验2*2的表

count=pd.crosstab(tips.sex,tips.smoker)print(count)'''smoker No Yes

sex

Female 54 33

Male 97 60'''oddsratio,pvalue=stats.fisher_exact(count)print(oddsratio,pvalue)#1.0121836925960637 1.0#P值很大，不能拒绝H0，是否吸烟和男女没有关系

#如果修改一下列联表中数据

count.iat[0,0]=2

print(count)

oddsratio,pvalue=stats.fisher_exact(count)print(oddsratio,pvalue)#0.03748828491096532 3.9900059898475383e-10#P值很小，拒绝H0，吸烟和男女有关系#fisher精确检验的优势：每个表格中数据不一定大于五#劣势：只能检验2*2

'''2.数值型~数值型

pearson:积差相关系数，反应两个变量之间的线性相关性

spearman：等级相关系数（Ranked data）

Kendall's Tau:非参数等级相关系数'''

#pearson就是统计学中学过的相关系数

print(stats.pearsonr(tips.total_bill,tips.tip))#(0.6757341092113643, 6.692470646864041e-34)#线性相关度和P值

#spearman相关系数：先对所有变量进行排序，在做线性相关#1.与pearson不同，不假设变量为正态分布#2. -1~+1 衡量变量之间的单调性#-1表示

np.random.seed(1232133)#如果seed确定，那么x,y随机数是一样的

x=np.random.randn(100)

y=np.random.randn(100)

rho,pval=stats.spearmanr(x,y)print(rho,pval)#0.031383138313831375 0.7565897728405165#P值很大，无法拒绝原假设，原假设：两个变量不相关（独立）

#pearson和spearman区别#如果有线性模式，也有一些离散点，spearman线性相关系数要大一些，因为离散点破坏了线性相关性，但是对rank排序影响不太大#pearson只能处理两组数据，spearman可以处理多组序列

x2n=np.random.randn(100,2)

y2n=np.random.randn(100,2)

rho,pval=stats.spearmanr(x2n,y2n)print(rho)print(pval)

rho,pval=stats.spearmanr(x2n.T,y2n.T,axis=1)print(rho)print(pval)'''[[ 1. 0.00536454 0.10976298 -0.01923792]

[ 0.00536454 1. 0.09857786 -0.04513651]

[ 0.10976298 0.09857786 1. 0.17354935]

[-0.01923792 -0.04513651 0.17354935 1. ]]

[[0. 0.95775479 0.27698447 0.84932628]

[0.95775479 0. 0.3291814 0.65565667]

[0.27698447 0.3291814 0. 0.08420292]

[0.84932628 0.65565667 0.08420292 0. ]]'''

'''3.kendall's tau相关系数

tau=(P-Q)/sqrt((P+Q+T)*(P+Q+U))

P:同步数据对数，Q:异步，T:tie in x，U:tie in y'''x=[1,2,3,4,5,5,4,6,-1]

y=[3,4,3,4,5,5,3,7,7]'''x中1-2增加，y中3-4增加，即为同步P

x中2-3增加，y中4-3减少，即为异步Q

x中两个数相等，但y中不相等，即为T

y中两个数相等，但x中不相等，即为U'''tau,p_value=stats.kendalltau(x,y)print(tau,p_value)#0.3444233600968322 0.22913623766848912

#数值型和数值型--回归分析，见下一章

'''3.数值型~类别型(自变量类别型，因变量数值型)

男女性别中给小费是否不同'''rvs1=tips[tips['sex']=='Male']['tip']

rvs2=tips[tips['sex']=='Female']['tip']print(stats.ttest_ind(rvs1,rvs2))#Ttest_indResult(statistic=1.3878597054212687, pvalue=0.16645623503456763)#P值较大，不能拒绝原假设：男女性别给小费的费率没有不同

#以上男女和性别不相关#如果同一个样本重复抽样，stats.ttest_rel()需要用这个检验，但必须保证两组数据长度相等

print(stats.ttest_rel(rvs1[:87],rvs2))#Ttest_relResult(statistic=1.3639526706337008, pvalue=0.1761417001637746)#t检验比较的是两组数的点估计和理想值得比较

#单因素ANOVA方差分析#对误差平方和，因素平方和进行F检验。如果F检验为1左右，认为不能拒绝原假设，AB不相关

print(stats.f_oneway(rvs1,rvs2))#F_onewayResult(statistic=1.9261545619320048, pvalue=0.16645623503457202)

#练习：星期几对小费是否有影响

print(pd.crosstab(tips.tip,tips.day))

Thur=tips[tips['day']=='Thur']['tip']

Fri=tips[tips['day']=='Fri']['tip']

Sat=tips[tips['day']=='Sat']['tip']

Sun=tips[tips['day']=='Sun']['tip']print(stats.f_oneway(Thur,Fri,Sat,Sun))#F_onewayResult(statistic=1.6723551980998699, pvalue=0.1735885553040592)

'''方差分析检验对数据得假设：

1.样本之间相互独立