f检验 python F检验是非参数检验吗

文章目录

• 统计学 非参数检验

• 单样本的检验

• 中位数的符号检验
• Wilcoxon 符号秩检验

• 两个及以上样本的检验

• 两个配对样本的 Wilcoxon 符号秩检验
• 两个独立样本的 Mann-Whitney 检验
• k 个独立样本的 Kruskal-Wallis 检验

• 秩相关及其检验

• Spearman 秩相关及其检验
• Kendall 秩相关及其检验

• 总结

统计学 非参数检验

参数检验：之前的统计检验方法统称为参数检验，例如 t 检验、F 检验等，这些检验通常都是在假定总体服从正态分布或总体分布形式已知的条件下进行的，而且要求所分析的数据是数值型的。

非参数检验：非参数检验不依赖于总体的分布（也称为与总体分布无关的检验），是在不了解总体分布或者对总体分布的假定不满足条件下的统计检验方法。非参数检验对数据类型的要求也比参数检验宽松，当数据不适合用参数检验时，非参数检验往往会得出理想的结果。

单样本的检验

只有一个样本时，非参数检验可用于检验总体的某个参数与假定值是否相等。

中位数的符号检验

符号检验：利用正负号的数目对某种假设进行判定的非参数方法。主要用于成对比较，而且可用于类别数据，在市场研究中引用广泛（例如研究消费者对某种品牌产品的偏好是“喜欢”或“不喜欢”）。总体均值的 t 检验要求总体服从正态分布，但是若我们对总体分布并不了解，就无法进行 t 检验，这时可以采用中位数作为总体参数进行符号检验。

中位数的符号检验：检验总体中位数是否等于某个假定的值。设一个随机样本有 $n$ 个数据 $x_1$ ，$x_2$ ，$\cdots$ $x_n$ ，总体中位数的实际值为 $M$ ，假设的总体中位数的值为 $M_0$ 。当样本中的数据大于假设的中位数 $M_0$ 时，用 “$+$” 表示，小于 $M_0$ 时，用 “$-$” 表示，剔除恰好等于 $M_0$

① 提出假设

• 双侧检验（关心实际的 $M$ 与假设的 $M_0$ 是否有差别）：$H_0$ ：$M=M_0$ ；$H_1$ ：$M\not= M_0$
• 左侧检验：$H_0$ ：$M=M_0$ ；$H_1$ ：$M\lt M_0$
• 右侧检验：$H_0$ ：$M=M_0$ ；$H_1$ ：$M\gt M_0$；

② 计算检验统计量 $S^+$ 与 $S^-$ ，分别代表 “$+$” 与 “$-$” 的个数；符号的总个数为 $n=S^++S^-$

③ 根据伯努利分布 $B(n,\,0.5)$ ，计算统计量的 $P$ 值并做出决策，若 $P\lt \alpha$

Wilcoxon 符号秩检验

Wilcoxon 符号秩检验：与符号检验目的一致，进行了改进，弥补了符号检验只考虑样本差异方向上的信息、而未考虑差异的大小的不足。Wilcoxon 符号秩检验的效率高于普通的符号检验。该检验假设样本数据 $x_i\,(i=1,2,\cdots,n)$

① 提出假设：

• 双侧检验（关心实际的 $M$ 与假设的 $M_0$ 是否有差别）：$H_0$ ：$M=M_0$ ；$H_1$ ：$M\not= M_0$
• 左侧检验：$H_0$ ：$M=M_0$ ；$H_1$ ：$M\lt M_0$
• 右侧检验：$H_0$ ：$M=M_0$ ；$H_1$ ：$M\gt M_0$；

② 计算检验统计量：计算各样本观察值与假定的中位数的绝对差 $|d_i|=|x_i-M_0|$ ，然后将 $d_i$ 排序并赋予他们秩，最小的 $|d_i|$ 秩为 1，最大的 $|d_i|$ 秩为 $n$ ，如果有相同的 $|d_i|$ 则取他们秩的平均值为新的秩。对于正的 $d_i$ 和负的 $d_i$ 的秩分别加总，得到检验统计量 $W^+$ 与 $W^-$ ，并且有 $W^++W^-=\frac{n(n+1)}{2}$

③ 接着选择 $W^+$ 或 $W^-$ ，按照正态近似或者蒙特卡洛模拟的方法计算 $P$ 值并做出决策，若 $P\lt \alpha$ ，则拒绝原假设，表明实际中位数与假设的总体中位数之间有显著差异。当 $H_0$ 为真时， $W^+$ 与 $W^-$

两个及以上样本的检验

抽取两个样本时有两种情况：

• 两个样本是独立样本
• 两个样本是配对样本

两个配对样本的 Wilcoxon 符号秩检验

配对样本均值之差的 t 检验基于配对总体差值服从正态分布这一假设，而 Wilcoxon 符号秩检验则没有这些限制，只要求两个样本的数据之差服从对称分布。

设 $X$ ，$Y$ 是两个连续的总体，且具有对称分布。从两个总体分别随机抽取 $n$ 个观察值组成 $n$ 个数据对：$(x_1,\,y_1)$，$(x_2,\,y_2)$ ，$\cdots$ ，$(x_n,\,y_n)$ ，每个数对的差记为 $d_i=x_i-y_i$ ，若 $X$ ,$Y$ 是具有相同分布的总体，则有 $P(d_i\gt 0)=P(d_i\lt 0)$ ，这意味着差值 $d_i$ 的中位数等于 0。用 $M_d$ 表示差值 $d_i$

① 提出假设：

• $H_0$ ：$M_d=0$
• $H_1$ ：$M_d\not=0$

② 计算检验统计量：计算各数据对的绝对差 $|d_i|=|x_i-y_i|$ ，排序后赋予秩，如果有相同的 $|d_i|$ 则取他们秩的平均值为新的秩。对于正的 $d_i$ 和负的 $d_i$ 分别加总，得到 $W^+$ 与 $W^-$ 。定义统计量为 $W=min(W^+,\,W^-)$

③ 在小样本情况下，统计量 $W$ 服从 Wilcoxon 符号秩分布；在大样本情况下，统计量 $W$ 近似服从正态分布，检验统计量为：
$z=\frac{W-\frac{n(n+1)}{4}}{\sqrt{\frac{n(n+1)(2n+1)}{24}}}$
计算 $P$ 值并做出决策，若 $P\lt \alpha$ ，则拒绝原假设。当 $H_0$ 为真时， $W^+$ 与 $W^-$

两个独立样本的 Mann-Whitney 检验

Mann-Whitney 检验：也称 Mann-Whitney U 检验、Wilcoxon 秩和检验，改检验适用于确定两个独立的总体间是否存在差异的一种非参数检验方法。Mann-Whitney 检验唯一的假设是两个独立随机样本的数据至少是顺序数据。该检验使用两个独立样本，其中每个样本都来自不同的总体。

Mann-Whitney 检验主要用于确定两个总体是否相同，设 $X$ ，$Y$ 是两个连续的总体，分布函数分别为 $F_x$ 与 $F_y$ 。从两个总体分别抽取两个独立的随机样本：$(x_1,\,x_2,\,\cdots,x_m)$ 与 $(y_1,\,y_2,\,\cdots,y_n)$

① 当想要检验两各总体是否相同时，可以提出假设

• $H_0$
• $H_1$

注意：当 Mann-Whitney 检验拒绝了 $H_0$

若要检验两总体在中心位置上是否相同，可以提出如下假设：

• $H_0$ ：$M_x=M_y$
• $H_1$ ：$M_x\not=M_y$

如果 $H_0$ 为正，那么将 $m$ 个 $x$ 和 $n$ 个 $y$ 的数据混合在一起，并从小到大排泄，这 $N=m+n$ 个数据能够看作来自相同总体的一个随机样本。若大部分的 $x$ 大于 $y$ ，或者相反，则不能证明这 $N$ 个数据来自同一个样本，因此应拒绝 $H_0$

② 将两组数据混合在一次，按大小排列并赋予秩。分别求出平均秩 $\bar W_x$ 与 $\bar W_y$ ，并比较二者的差距。若 $\bar W_x$ 与 $\bar W_y$ 差距较大，即大部分的 $x$ 大于 $y$

③ 计算统计量 $U_{xy} = \bar W_x - \frac{m(m+1)}{2}$，$U_{yx} = \bar W_y - \frac{n(n+1)}{2}$，$U = \min(U_{xy},\,U_{yx})$ ，比较 $U_{xy}$ 与 $U_{yx}$ 的大小。若 $U_{xy}$ 与 $U_{yx}$

④ 在小样本情况下，$U$ 服从 Mann-Whitney 分布。在大样本情况下，$U$ 近似服从正态分布，检验统计量为：
$z=\frac{U-\frac{mn}{2}}{\sqrt{\frac{mn(m+n+1)}{12}}}$
计算 $P$ 值并做出决策，若 $P\lt \alpha$ ，则拒绝原假设。当 $H_0$ 为真时， $W^+$ 与 $W^-$

k 个独立样本的 Kruskal-Wallis 检验

Kruskal-Wallis 检验：用于检验多个总体是否相同的一种非参数检验方法。方差分析可以用于检验多个独立总体均值是否相同，但是需要假设个总体服从正态分布且方差相等。而 Kruskal-Wallis 检验可用于有序类别数据，也可用于数值数据。

设有 $k$

• $H_0$
• $H_1$

如果在研究总体是否相同时，侧重于考察位置参数（如中位数），上述假设等价于 $k$ 个总体的中位数都相等。设 $k$ 个总体的中位数分别为 $M_1$ ，$M_2$ ，$\cdots$ $M_k$

• $H_0$ ：$M_1=M_2=\cdots=M_k$
• $H_1$ ：$M_1$ ，$M_2$ ，$\cdots$ $M_k$

从每个总体中抽出一个样本，每个样本的样本量分别为 $n_1$ ，$n_2$ ，$\cdots$ $n_k$ ，总数为 $N=\sum\limits_{i=1}^kn_i$ ，这 $N$ 个数据的平均的秩为：
$\bar {R} = \frac{1+2+\cdots+N}{N}=\frac{N+1}{2}$
对于第 $i$ 个样本，设实际的秩的总和为 $R_i$ ，其期望值应为 $n_i\frac{N+1}{2}$ ，那么第 $i$ 个样本实际秩和与期望秩和的差值为 $d_i=R_i-n_i(N+1)/2$ 。对于所有观察值混合成的一个随机样本来说，秩从次序应该在所有样本之间均匀分布，也就是 $d_i$ 应该很小，否则应怀疑 $H_0$

具体步骤为：

① 所有样本的观察值混合在一起，排序并赋予秩

② 计算检验统计量：当任意样本的样本量都大于 5 时，可近似认为 $H\sim \chi^2(k-1)$
$H=\frac{12}{N(N+1)}\sum\limits_{i=1}^k\frac{R_i^2}{n_i}-3(N+1)$
③ 计算 $P$ 值并做出决策，若 $P\lt \alpha$ ，则拒绝原假设，表明 $k$

秩相关及其检验

介绍变量之间的关系（一元线性回归的开头部分）时已经学了如何计算两个数值变量之间的相关系数以及检验方法。而对于有序类别变量之间的相关程度的测量则要用到非参数方法，即秩相关系数。

Spearman 秩相关及其检验

Spearman 秩相关系数：也称等级相关系数，记为 $r_s$

设所观察的一组数据样本对为 $(x_1,\,y_1)$，$(x_2,\,y_2)$ ，$\cdots$ ，$(x_n,\,y_n)$ ，将 $x_i$ 排序后的秩记为 $R_i$ ，将 $y_i$ 排序后的秩记为 $S_i$ ，然后将每一对观察秩的秩进行比较，即计算两个秩之间的差值 $d_i=R_i-S_i$ ，然后计算 Spearman 秩相关系数 $r_s$ ：
$r_s=1-\frac{6\sum\limits_{i=1}^n d_i^2}{n(n^2-1)}$
$r_s$ 的取值范围也是 $[-1,\,1]$ ，与相关系数 $r$

Spearman 相关系数还可以将数值数据转化为有序类别变量来计算。

Kendall 秩相关及其检验

Kendall 秩相关系数：与 Spearman 秩相关系数类似，也是对两个顺序变量之间相关程度的一种度量。

设所观察的一组数据样本对为 $(x_1,\,y_1)$，$(x_2,\,y_2)$ ，$\cdots$ ，$(x_n,\,y_n)$ ，将 $x_i$ 排序后，$y_i$ 对应的顺序的逆序数记作 $V$ ，正序数记作 $U$ ，显然 $U+V=C_n^2$ ；正序对与逆序对分别占的比例为：
$\frac{U}{C_n^2}=\frac{2U}{n(n-1)} \quad\quad \frac{V}{C_n^2}=\frac{2V}{n(n-1)}$
Kendall 相关系数 $\tau$ 为：
$\tau=\frac{4U}{n(n-1)}-1 \quad or \quad \tau=1-\frac{4V}{n(n-1)}$
若 $\tau=1$ ，表明两组秩之间完全正相关；若 $\tau=-1$

总结

当总体分布能满足参数检验所需的假定时，参数检验的效率要比非参数检验高；而当假定得不到满足时，非参数检验则更为有效。

对比参数检验与非参数检验：

非参数检验	用途	参数检验
符号检验	检验一个总体位置参数（如中位数）是否等于某个假定的值	一个总体均值的 z 检验或 t 检验
Wilcoxon 符号秩检验	检验一个总体位置参数（如中位数）是否等于某个假定的值	一个总体均值的 z 检验或 t 检验
两个配对样本的 Wilcoxon 符号秩检验	检验配对数据的总体位置参数是否相同	两个总体均值之差的 z 检验或 t 检验（配对样本）
两个独立样本的 Mann-Whitney 检验	检验两个总体位置参数是否相同	两个总体均值之差的 z 检验或 t 检验（独立样本）
k 个独立样本的 Kruskal-Wallis 检验	检验多个总体是否相同	单因素方差分析
秩相关及其检验	检验两个变量的相关性	线性相关系数及其检验