基于方差分析与回归分析方法的数据分析报告 方差分析及回归分析

方差分析

一、基本概念

1.1 定义

• 研究一个（或多个）分类自变量如何影响一个数值因变量的统计分析方法

1.2 目的

• 判断某些因素对于我们感兴趣的因变量是否具有“显著”的影响
• 如果因素间有交互效应，寻找最佳搭配方案

1.3 特点

• 方差分析与一般的假设检验：方差分析处理的是多个均值的情况
• 方差分析与回归、相关分析：回归与相关处理的是两个数值变量的问题，相应的散点在 $x$ 轴上具有顺序（从小到大），而方差分析的数据在 $x$

1.4 数学模型

1、定义

• 响应变量（因变量）：进行随机试验所考察的数值指标
• 因素或因子（自变量）：影响因变量的各不同分类原因
• 水平：各个因素所构成的组或者类型

2、例子：考察小麦产量（$y$）对于品种和施肥量的关系（两个不同的小麦品种，三个不同的施肥等级）

• 品种是否对产量有影响 $\Leftrightarrow H_{01}: \alpha_1 = \alpha_2$
• 施肥量是否对产量有影响 $\Leftrightarrow H_{02}: \beta_1 = \beta_2 = \beta_3$
  $Y = X\beta + \varepsilon$
  $\begin{cases} y_{11} = \theta_0 + \alpha_1 + \beta_1 + \varepsilon_{11} \\ y_{12} = \theta_0 + \alpha_1 + \beta_2 + \varepsilon_{12} \\ y_{13} = \theta_0 + \alpha_1 + \beta_3 + \varepsilon_{13} \\ y_{21} = \theta_0 + \alpha_2 + \beta_1 + \varepsilon_{21} \\ y_{22} = \theta_0 + \alpha_2 + \beta_2 + \varepsilon_{22} \\ y_{23} = \theta_0 + \alpha_2 + \beta_3 + \varepsilon_{23} \end{cases}$

二、单因素方差分析

2.1 数据的结构

$y_{ij} = \beta_i + \varepsilon_{ij} ,\,\,\,\,\,\, 1 \le j \le n_i 、1 \le i \le r$

主要任务：

• 检验假设： $H_0: \beta_1 = \beta_2 = ... = \beta_r$
• 作出未知参数：$\beta_1, \beta_2, ... , \beta_r$ 以及 $\sigma^2$

2.2 因子效应与误差方差的估计

• 按照模型的假定，因变量的观察值来自 $r$
• $y_{11}, ..., y_{1n1}$ 来自总体 $N(\beta_1, \sigma^2)$
• 未知参数 $\beta_1, \beta_2, ... , \beta_r$

2.3 相关定义

• 因素各水平效应的估计采用各个组内平均
  $\hat{\beta_i} = \overline{y_i} = \frac{1}{n_i} \sum_{j=1}^{n_i} y_{ij} \Leftrightarrow N(\beta_i, \frac{\sigma^2}{n_i}), 1 \le i \le r$
• 误差方差 $\sigma^2$ 的估计利用残差平方和
  $\hat{\sigma}^2 = \frac{RSS}{n-r} = \frac{1}{n-r} \sum_{i=1}^r \sum_{j=1}^{n_s} (y_{ij} - \overline{y_i})^2$
  $\frac{(n-r)\hat{\sigma}^2}{\sigma^2} \Leftrightarrow \chi^2(n-r)$
• $\hat{\beta_1}, \hat{\beta_2}, ... , \hat{\beta_r}, \hat{\sigma}^2$

2.4 方差分析平方和分解公式

• 总平方和：表示因变量总的变化。（因子不同的水平，随机误差）
  $TSS = \sum_{i=1}^{r} \sum_{j=1}^{n_i}(y_{ij} - \overline{y})^2$
• 自变量平方和：表示自变量在因变量的变化中所占的份额
  $CSS = \sum_{i=1}^{r} n_i (\overline{y_i} - \overline{y})^2$
• 残差平方和：表示由其它原因引起的因变量变化
  $RSS = \sum_{i=1}^{r} \sum_{j=1}^{n_i}(y_{ij} - \overline{y_i})^2$
  $TSS = CSS + RSS$

2.5 单因素方差分析的检验

• 如果零假设 $H_0: \beta_1 = \beta_2 = ... = \beta_r$ 成立，则
  $\frac{CSS}{\sigma^2} \Leftrightarrow \chi^2(r-1)$
• 检验统计量
  $F比 = \frac{n-r}{r-1} \frac{CSS}{RSS} \Leftrightarrow F(r-1, n-r)$
• 拒绝域
  $F \ge F_\alpha(r-1, n-r)$

2.6 单因素方差分析表

$CMS = \frac{CSS}{r-1}, RMS = \frac{RSS}{n-r}, F-比 = \frac{CMS}{RMS}$

2.7 变量关系的强度

$R^2 = \frac{自变量平方和}{总平方和} = \frac{CSS}{TSS}$

三、双因素方差分析

3.1 数据的结构

$y_{ijk} = \mu + \alpha_i + \beta_j + \gamma_{ij} + \varepsilon_{ijk}, 1 \le i \le r, 1 \le j \le s, 1 \le k \le l, \varepsilon_{ijk} \Leftrightarrow N(0, \sigma^2)$

主要任务：

• 因子的主效应是否显著，即检验： $H_{01}: \alpha_1 = \alpha_2 = ... = \alpha_r$，以及 $H_{02}: \beta_1 = \beta_2 = ... = \beta_s$
• 交互效应是否显著：$H_{03}: \gamma_{11} = \gamma_{12} = ... = \gamma_{rs}$
• 如果拒绝了 $H_{03}$

3.2 相关定义

• 总平均
  $\overline{y} = \frac{1}{rsl} \sum_{i=1}^r \sum_{j=1}^s \sum_{k=1}^l y_{ijk}$
• 误差平均
  $\overline{y_{ij·}} = \frac{1}{l} \sum_{k=1}^l y_{ijk}$
• $A$ 因素平均
  $\overline{y_{i··}} = \frac{1}{s} \sum_{j=1}^s \overline{y_{ij·}}$
• $B$ 因素平均
  $\overline{y_{·j·}} = \frac{1}{r} \sum_{i=1}^r \overline{y_{ij·}}$

3.3 方差分析平方和分解公式

• 总平方和
  $TSS = \sum_{i=1}^r \sum_{j=1}^s \sum_{k=1}^l (y_{ijk} - \overline{y})^2$
• $A$ 因子主效应平方和
  $SSA = sl \sum_{i=1}^r (\overline{y}_{i··} - \overline{y})^2$
• $B$ 因子主效应平方和
  $SSB = rl \sum_{j=1}^s (\overline{y}_{·j·} - \overline{y})^2$
• 交互效应平方和
  $SSAB = l \sum_{i=1}^r \sum_{j=1}^s (\overline{y}_{ij·} - \overline{y}_{i··} - \overline{y}_{·j·} + \overline{y})^2$
• 随机误差平方和
  $RSS = \sum_{i=1}^r \sum_{j=1}^s \sum_{k=1}^l (y_{ijk} - \overline{y}_{ij·})^2$
  $TSS = SSA + SSB +SSAB + RSS$

3.4 单因素方差分析的检验

• $\frac{RSS}{\sigma^2}$~$\chi^2(rs(l-1))$
• 当 $H_{01}$ 成立时，$\frac{SSA}{\sigma^2}$~$\chi^2(r-1)$
• 当 $H_{02}$ 成立时，$\frac{SSB}{\sigma^2}$~$\chi^2(s-1)$
• 当 $H_{03}$ 成立时，$\frac{SSAB}{\sigma^2}$~$\chi^2((r-1)(s-1))$
• 对于零假设 $H_{01}: \alpha_1 = \alpha_2 = ... = \alpha_r$，相应的统计量及拒绝域为
  $F_A = \frac {rs(l-1)} {r-1} \frac{SSA}{RSS} \Leftrightarrow F(r-1, rs(l-1))$
  $\{ F_A \ge F_\alpha(r-1, rs(l-1)) \}$
• 对于零假设 $H_{02}: \beta_1 = \beta_2 = ... = \beta_s$，相应的统计量及拒绝域为
  $F_B = \frac {rs(l-1)} {s-1} \frac{SSB}{RSS} \Leftrightarrow F(s-1, rs(l-1))$
  $\{ F_B \ge F_\alpha(s-1, rs(l-1)) \}$
• 对于零假设 $H_{03}: \gamma_{11} = \gamma_{12} = ... = \gamma_{rs}$，相应的统计量及拒绝域为
  $F_{AB} = \frac {rs(l-1)} {(r-1)(s-1)} \frac{SSAB}{RSS} \Leftrightarrow F((r-1)(s-1), rs(l-1))$
  $\{ F_{AB} \ge F_\alpha((r-1)(s-1), rs(l-1)) \}$

3.5 双因素方差分析表