预测区间python 预测区间估计

文章目录

• 一、基本概念

• 1.1 区间估计
• 1.2 置信水平（置信度）
• 1.3 置信系数
• 1.4 置信区间
• 1.5 单侧置信限
• 1.6 置信域

• 二、枢轴量法

• 2.1 上侧 $\alpha$ α分位数
• 2.2 小样本情况下的步骤
• 2.3 大样本情况下
• 2.4 单个正态总体参数的置信水平为 $1-\alpha$ 1−α的置信区间

• 三、两个正态总体的置信区间

• 3.1 $\delta=\mu_2-\mu_1$ δ=μ2−μ1的置信区间

• 3.1.1 $\sigma^2_1=\sigma^2_2=\sigma^2$ σ12=σ22=σ2未知时
• 3.1.2 $\theta=\sigma^2_2/\sigma^2_1$ θ=σ22/σ12已知时

3.1.3 m = n m=n m=n时

3.1.4 当 m , n m, n m,n都充分大时

3.2 方差比$σ 1 2 / σ 2 2 \sigma^2_1/\sigma^2_2 σ12​/σ22$的置信区间

数理统计复习笔记三——点估计介绍了若干点估计的方法和准则，本文介绍区间估计。

区间估计是介于估计和检验之间的内容，且区间估计与检验紧密相连，因此有的也把区间估计看作是检验的一种。

一、基本概念

1.1 区间估计

设$X_1, \cdots, X_n$为来自分布族$\mathcal F=\{f(x,\theta), \theta\in\Theta\}$的样本，$\theta$为一维未知参数。如果$\hat\theta_L(\bm X)$，$\hat\theta_U(\bm X)$为两个统计量，且$\hat\theta_L(\bm X)\le \hat\theta_U(\bm X)$，则称随机区间$[\hat\theta_L(\bm X), \hat\theta_U(\bm X)]$为$\theta$的一个区间估计。

1.2 置信水平（置信度）

既然是估计，就应该有一个好坏的衡量指标。

当参数的真值为$\theta$时，随机区间$[\hat\theta_L(\bm X), \hat\theta_U(\bm X)]$包含$\theta$的概率$P_\theta\{[\hat\theta_L(\bm X)\le\theta\le\hat\theta_U(\bm X)]\}$就称为置信水平或置信度。

对于一个区间估计来说，肯定希望置信水平或置信度越大越好。由于这个置信水平依赖于参数真值，故我们自然希望对于参数空间$\Theta$中的每一个$\theta$，其置信水平都很大。

1.3 置信系数

设随机区间$[\hat\theta_L(\bm X), \hat\theta_U(\bm X)]$为$\theta$的一个区间估计，则称$\inf_{\theta\in\Theta}P_\theta\{[\hat\theta_L(\bm X)\le\theta\le\hat\theta_U(\bm X)]\}$为该区间估计的置信系数。

1. 区间估计有时要用开区间或半开半闭区间，但从置信水平的角度看，这几种区间估计没有本质的区别
2. 在计算某区间估计的置信水平时，我们应该知道$\hat\theta_L(\bm X)$，$\hat\theta_U(\bm X)$的联合分布。如果不知道其联合分布，则很难求得其置信系数，这就是构造置信区间的技巧所在

1.4 置信区间

设$[\hat\theta_L(\bm X), \hat\theta_U(\bm X)]$是参数$\theta$的一个区间估计，如果对给定的$\alpha\in(0, 1)$，有$P_\theta\{[\hat\theta_L(\bm X)\le\theta\le\hat\theta_U(\bm X)]\}\ge1-\alpha , \forall\theta\in\Theta\tag{2}$
则称$[\hat\theta_L(\bm X), \hat\theta_U(\bm X)]$为$\theta$的置信水平为$1-\alpha$的置信区间，$\hat\theta_L(\bm X)$，$\hat\theta_U(\bm X)$分别称为置信下限和置信上限。

实际中也称满足$P_\theta\{[\hat\theta_L(\bm X)\le\theta\le\hat\theta_U(\bm X)]\}=1-\alpha$的区间估计为置信区间

详见杂记——贝叶斯可信区间与频率置信区间的区别

1.5 单侧置信限

有时人们感兴趣的指标是望大或望小指标（指标越大/小越好）。

设$\hat\theta_L(\bm X)$，$\hat\theta_U(\bm X)$为两个统计量，对给定的$\alpha\in(0, 1)$，有$P_\theta\{\hat\theta_L(\bm X)\le\theta\}\ge1-\alpha, \forall\theta\in\Theta\tag{3}$
$P_\theta\{\hat\theta_U(\bm X)\ge\theta\}\ge1-\alpha, \forall\theta\in\Theta\tag{4}$
则分别称$\hat\theta_L(\bm X)$与$\hat\theta_U(\bm X)$为$\theta$的置信水平为$1-\alpha$的单侧置信下限和单侧置信上限。

与双侧置信限的关系：

设$\hat\theta_L(\bm X)$与$\hat\theta_U(\bm X)$为$\theta$的置信水平为$1-\alpha_1$和$1-\alpha_2$的单侧置信下限和单侧置信上限，且$\hat\theta_L(\bm X)\le \hat\theta_U(\bm X)$，则$[\hat\theta_L(\bm X), \hat\theta_U(\bm X)]$是$\theta$的置信水平为$1-(\alpha_1+\alpha_2)$的置信区间。

1.6 置信域

设$X_1, \cdots, X_n$为来自分布族$\mathcal F=\{f(x,\theta), \theta\in\Theta\subseteq\bm R^k\}$的样本，$\theta=(\theta_1,\cdots,\theta_k)^T$，如果统计量$S(\bm X)$满足

• 对任一样本观测值$\bm x$，$S(\bm x)$是$\Theta$的一个子集；
• 对给定的$\alpha\in(0,1)$，$P_\theta\{\theta\in S(\bm X)\}\ge1-\alpha, \forall\theta\in\Theta$
  则称$S(\bm X)$是$\theta$的置信水平为$1-\alpha$的置信域，而概率$P_\theta\{\theta\in S(\bm X)\}$在$\Theta$上的下确界就称为置信系数

二、枢轴量法

求取参数的置信区间的方法有很多，本文主要介绍最常用的枢轴量法，尤其是对于连续型分布族。

2.1 上侧$\alpha$分位数

记$\Phi(x)$和$\phi(x)$分别表示标准正态分布$N(0, 1)$的$CDF$和$PDF$，且用满足方程$\Phi(u_\alpha)=1-\alpha\tag{5}$的$u_\alpha$表示标准正态分布的上侧$\alpha$分位数，如下图

类似的，用$\chi_\alpha^2(n)$，$t_\alpha(n)$，$F_\alpha(m, n)$表示$\chi^2(n)$，$t(n)$，$F(m, n)$的上侧$\alpha$分位数。

2.2 小样本情况下的步骤

1. 找一个与待估参数$g(\theta)$无关的统计量$T$，一般是它的一个很好的点估计
2. 设法找出$T$与$g(\theta)$的某函数$S(T, g(\theta))$，使得$S(T, g(\theta))$的分布$F(x)$与$\theta$无关，$S$就称为枢轴量，一般令分布为正态分布、$\chi^2$分布、$t$分布或$F$分布
3. 适当的选取两个常数$c, d$，使对给定的$\alpha\in(0, 1)$，有$P_\theta\{c\le S(T, g(\theta))\le d\}=1-\alpha\tag{6}$即$F(d)-F(c)=1-\alpha$，一般取$d=F_{\alpha/2}$，$c=F_{1-\alpha/2}$
4. 如果能把$(6)$式中的不等式$c\le S(T, g(\theta))\le d\}=1-\alpha$等价的改写成$\hat\theta_L(\bm X)\le g(\theta)\le\hat\theta_U(\bm X)$，其中$\hat\theta_L(\bm X)$，$\hat\theta_U(\bm X)$只与$c, d$和$T$有关，而与$\theta$无关，则$[\hat\theta_L(\bm X), \hat\theta_U(\bm X)]$为$g(\theta)$的置信水平为$1-\alpha$的置信区间

第2步寻找枢轴量最关键

例子：

设$X_1, \cdots, X_n$为来自正态总体$N(\mu, \sigma^2)$的$IID$样本，$\mu, \sigma^2$均未知，试求$\mu$的置信水平为$1-\alpha$的置信区间。

1. 由于$\overline X$是$\mu$的一个很好的点估计，故我们在第一步取$T=\overline X$
2. 虽然$\sqrt{n}(\overline X-\mu)/\sigma\sim N(0,1)$，但$\sigma$未知，所以想到用$S_n$来代替，而$\sqrt{n}(\overline X-\mu)/S_n\sim t(n-1)$，所以可取枢轴量$S=\sqrt{n}(\overline X-\mu)/S_n$
3. 由于$S\sim t(n-1)$，所以可取$c=t_{1-\alpha/2}(n-1)=-t_{\alpha/2}(n-1)$，$d=t_{\alpha/2}(n-1)$
4. 因为$-t_{\alpha/2}(n-1)\le \sqrt{n}(\overline X-\mu)/S_n\le t_{\alpha/2}(n-1)$
   所以$\overline X-\frac{S_n}{\sqrt n}t_{\alpha/2}(n-1)\le\mu\le\overline X+\frac{S_n}{\sqrt n}t_{\alpha/2}(n-1)$
   所以$\mu$的置信水平为$1-\alpha$的置信区间为$[\overline X-\frac{S_n}{\sqrt n}t_{\alpha/2}(n-1),\overline X+\frac{S_n}{\sqrt n}t_{\alpha/2}(n-1)]$

2.3 大样本情况下

枢轴量法更适用于连续性随机变量，对于离散型随机变量，并不容易操作，其原因在于给定的$\alpha$，一般不存在确切的分位点。

例子：

设$X_1,\cdots,X_n$为来自伯努利分布$b(1,p)$的$IID$样本，试求$p$的置信水平为$1-\alpha$的置信区间。

关键还是找枢轴量。

我们知道$\frac{1}{n}\sum\limits_{i=1}^nX_i$是$p$的一个很好的估计，那么枢轴量应该与$T_n=\sum\limits_{i=1}^nX_i$有关。而$T_n\sim B(n, p)$，其分布与$p$有关，所以不能直接把$T_n$作为枢轴量。

但由中心极限定理可知，当$n\to\infty$时，$\frac{T_n-np}{\sqrt{np(1-p)}}\sim N(0, 1)\tag{7}$ 即当$n$充分大时，我们有$P\{\frac{T_n-np}{\sqrt{np(1-p)}}\lt x\}=\Phi(x)\tag8$ 且与$p$无关，所以可将$\frac{T_n-np}{\sqrt{np(1-p)}}$当作枢轴量。
所以当$n$充分大时，有$P\{-u_{\alpha/2}\le\frac{T_n-np}{\sqrt{np(1-p)}}\le u_{\alpha/2}\}\tag9$
再进行化简即可

当$n$充分大时，上述方法求得的置信区间非常接近水平为$1-\alpha$的置信区间。在实际中，当$n\ge30$时，就可以认为是充分大了。

由上述例子可知，对于离散型的随机变量，我们可以通过中心极限定理转化为正态分布来求解置信区间。

2.4 单个正态总体参数的置信水平为$1-\alpha$的置信区间

$X_1,\cdots,X_n$为来自正态分布$N(\mu,\sigma^2)$的$IID$样本

参数情况	枢轴量	置信区间
已知，估计
未知，估计
已知，估计
未知，估计	$X_1,\cdots,X_m$	$X_1,\cdots,X_m$

三、两个正态总体的置信区间

设$X_1,\cdots,X_m$和$Y_1,\cdots,Y_n$分别为来自正态总体$N(\mu_1,\sigma^2_1)$和$N(\mu_2,\sigma^2_2)$的样本，且全样本独立，其中$\mu_1,\mu_2,\sigma^2_1,\sigma^2_2$为参数。样本均值为$\overline X=\frac{1}{m}\sum\limits_{i=1}^mX_i$，$\overline Y=\frac{1}{n}\sum\limits_{i=1}^nY_i$，样本方差为$S_{1m}^2=\frac{1}{m-1}\sum\limits_{i=1}^m(X_i-\overline X)^2$，$S_{2n}^2=\frac{1}{n-1}\sum\limits_{i=1}^n(Y_i-\overline Y)^2$

3.1 $\delta=\mu_2-\mu_1$的置信区间

3.1.1 $\sigma^2_1=\sigma^2_2=\sigma^2$未知时

由数理统计复习笔记一——统计中常用的抽样分布(卡方分布，t分布，F分布)可知$T=\sqrt{\frac{mn(m+n-2)}{m+n}}\frac{(\bar Y-\bar X)-\delta}{\sqrt{(m-1)S^2_{1m}+(n-1)S^2_{2n}}}\sim t(m+n-2)\tag{10}$
所以可令其为枢轴量，进而可得$\delta$的置信水平为$1-\alpha$的置信区间为$[\overline Y-\overline X\mp t_{\alpha/2}(m+n-2)]\sqrt{\frac{m+n}{mn(m+n-2)}}\sqrt{(m-1)S^2_{1m}+(n-1)S^2_{2n}}\tag{11}$

3.1.2 $\theta=\sigma^2_2/\sigma^2_1$已知时

因为$T=\sqrt{\frac{mn(m+n-2)}{m\theta+n}}\frac{(\bar Y-\bar X)-\delta}{\sqrt{(m-1)S^2_{1m}+(n-1)S^2_{2n}/\theta}}\sim t(m+n-2)\tag{12}$
所以可令其为枢轴量，进而可得$\delta$的置信水平为$1-\alpha$的置信区间为$[\overline Y-\overline X\mp t_{\alpha/2}(m+n-2)]\sqrt{\frac{m\theta+n}{mn(m+n-2)}}\sqrt{(m-1)S^2_{1m}+(n-1)S^2_{2n}/\theta}\tag{13}$

3.1.3 $m=n$时

此时$Z_i=Y_i-X_i\sim N(\delta, \sigma^2_1+\sigma^2_2)$，$i=1,\cdots,n$且相互独立，于是可知$\overline Z\sim N(\delta, (\sigma^2_1+\sigma^2_2)/n)$，$\sum\limits_{i=1}^n(Z_i-\overline Z)^2/(\sigma^2_1+\sigma^2_2)\sim\chi^2(n-1)$，所以有$\frac{\sqrt{n(n-1)}(\overline Z-\delta)}{\sqrt{\sum\limits_{i=1}^n(Z_i-\overline Z)^2}}\sim t(n-1)\tag{14}$
所以可得$\delta$的置信水平为$1-\alpha$的置信区间为$[\overline Z\mp t_{\alpha/2}(n-1)\frac{\sqrt{\sum\limits_{i=1}^n(Z_i-\overline Z)^2}}{\sqrt{n(n-1)}}]\tag{15}$

3.1.4 当$m, n$都充分大时

因为$S_{1m}^2\to\sigma^2_1$，$S_{2n}^2\to\sigma^2_2$，且$\overline Y-\overline X\sim N(\delta, \sigma^2_1/m+ \sigma^2_2/n)$，所以$\check T=\frac{\overline Y-\overline X-\delta}{\sqrt{S_{1m}^2/m+S_{2n}^2/n}}\sim N(0,1)\tag{16}$

所以可得$\delta$的置信水平为$1-\alpha$的置信区间为$[\overline Y-\overline X\mp u_{\alpha/2}\sqrt{S_{1m}^2/m+S_{2n}^2/n}]$

3.2 方差比$\sigma^2_1/\sigma^2_2$的置信区间

因为$(m-1)S_{1m}^2/\sigma^2_1\sim\chi^2(m-1)$，$(n-1)S_{2n}^2/\sigma^2_2\sim\chi^2(n-1)$，且二者是独立的，于是$F=\frac{S_{1m}^2/\sigma^2_1}{S_{2n}^2/\sigma^2_2}\sim F(m-1,n-1)\tag{17}$
可以作为枢轴量，并且$P\{F_{1-\alpha/2}(m-1,n-1)\le\frac{S_{1m}^2/\sigma^2_1}{S_{2n}^2/\sigma^2_2}\le F_{\alpha/2}(m-1,n-1)\}\tag{18}$
进而可得置信区间为$[\frac{S_{1m}^2/S_{2n}^2}{F_{\alpha/2}(m-1,n-1)}, \frac{S_{1m}^2/S_{2n}^2}{F_{1-\alpha/2}(m-1,n-1)}]\tag{19}$