是否幸福轻得太沉重
过度使用不痒不痛
烂熟透红空洞了的瞳孔
终于掏空终于有始无终
得不到的永远在骚动
被偏爱的都有恃无恐
玫瑰的红容易受伤的梦
握在手中却流失于指缝
又落空
                     🎵 陈奕迅《红玫瑰》


卡方检验(Chi-square test)是一种用于检验分类数据的统计方法,主要用于确定两个分类变量之间是否存在显著关联。它是一种非参数检验方法,因此适用于非正态分布数据。卡方检验可以广泛用于独立性检验和拟合优度检验。

独立性检验

独立性检验主要用于评估两个分类变量之间是否存在关联。通过比较实际观察的频数和理论期望频数来计算统计量,并判断两个变量的相关性。

计算公式

卡方统计量的公式如下:

pythonMSR检验_python

自由度
自由度计算方式:
(𝑅−1)×(𝐶−1)
(R−1)×(C−1),其中 𝑅和 𝐶分别表示行和列的数量。

假设检验

零假设(H0):两个变量之间独立,无关联。
备择假设(H1):两个变量之间有显著关联。
通过比较计算出的卡方统计量与卡方分布表中的临界值,可以确定是否拒绝零假设。

拟合优度检验

拟合优度检验用于评估一个观测数据集与某个理论分布的拟合程度。其计算过程与独立性检验类似。

使用 Pandas 和 SciPy 实现卡方检验

下面举一个例子,使用Python库 Pandas 和 SciPy 进行卡方独立性检验:

import pandas as pd
from scipy.stats import chi2_contingency

# 创建一个交叉表数据集
data = {'A': ['X', 'Y', 'X', 'Y', 'X', 'Y', 'X', 'Y'],
        'B': ['P', 'P', 'Q', 'Q', 'P', 'Q', 'Q', 'P']}
df = pd.DataFrame(data)

# 创建一个列联表
contingency_table = pd.crosstab(df['A'], df['B'])

# 进行卡方检验
chi2, p_value, dof, expected = chi2_contingency(contingency_table)

# 输出结果
print(f"Chi-square Statistic: {chi2}")
print(f"P-value: {p_value}")
print(f"Degrees of Freedom: {dof}")
print("Expected Frequencies Table:")
print(expected)

# 检查是否拒绝零假设
alpha = 0.05
if p_value < alpha:
    print("Reject the null hypothesis, variables are dependent.")
else:
    print("Fail to reject the null hypothesis, variables are independent.")

代码解释

交叉表:pd.crosstab 用于生成两个分类变量的交叉表。
卡方检验:chi2_contingency 计算卡方统计量、P值、自由度和期望频数表。
结果解释:通过比较 P 值与显著性水平,可以判断是否拒绝零假设并得出结论。

总结

卡方检验是一种强大的统计工具,可用于判断两个分类变量之间的关联性或数据分布与理论分布之间的拟合优度。它在市场分析、医学研究和社会科学等领域应用广泛。通过使用 Python 工具,数据分析师可以轻松地应用卡方检验来发现数据中的隐藏关联。