简介
斯皮尔曼等级相关系数(简称等级相关系数,或称秩相关系数,英语:Spearman's rank correlation coefficient或Spearman's ρ)。一般用
或者
表示。它是衡量两个变量的相关性的无母数指标。它利用单调函数评价两个统计变量的相关性。若数据中没有重复值,且当两变量完全单调相关时,斯皮尔曼相关系数为+1或−1,而且
位于-1到1之间。
如图所示。
更常用的一般为这个公式,但是比较麻烦。一般我们直接调用scipy.stats.spearman()直接调用。
备注:当所有的等级数值都为整数时,可以通过以下简单的公式计算等级相关系数。
斯皮尔曼(等级)系数主要是针对X,Y两个变量求相关性。
适用范围
- 用于当数据不满足下列条件任意一个(线性关系,连续数据,正态分布)的时候
- 当数据为定序数据的时候
定序数据为反应登记的数据,代表了某种逻辑顺序,而且属于品质数据,(甲,乙,丙)(优,良,差)等类型都可以称为定序数据。
补充spearman系数数据排序
备注:如果变量数据相同的话,我们采取依次顺序排序,相同数值取位置的平均值。
具体代码
import numpy as np
import pandas as pd
import scipy.stats as stats
def calculate_spearman_correlation(X, Y):
return stats.spearmanr(X, Y)[0]
def calculate_spearman_correlation_p(X, Y):
return stats.spearmanr(X, Y)[1]
if __name__=='__main__':
x = [1, 2, 3, 4, 5, 6, 7, 8, 9]
y = [2, 1, 2, 4.5, 7, 6.5, 6, 9, 9.5]
print(calculate_spearman_correlation_p(x, y))
print(calculate_spearman_correlation(x, y))
spearman检验
小样本检验(n<30)
在一般情况下,我们通过直接适用查表的方式进行验证,即为spearman系数要大于表中对应的临界值。即为我们认为我们的相关系数大于表中的临界值,我们认为相关系数是有显著性差异的,即为有相关性而且相关性不为0。
大样本检验(n>30)
在一般情况下,我们通过构造统计量进行假设检验,假设检验如图,而且在统计量
,如果统计量
符合正态分布,具体公式如图所示。
H0:
H1:
(构造的统计量符合正态分布)
计算p值,如果p值大于0.05,即为证明有显著差异。即为有相关性,相关系数不为0。
求P值代码
def calculate_spearman_correlation_p(X, Y):
return stats.spearmanr(X, Y)[1]