大数定律

  表示试验次数无穷大时,样本均值就等于总体均值。

弱大数定律(辛钦大数定律)

  $X_1,X_2,X_3,...$是相互独立,服从期望$E(X_k) = \mu$分布的随机变量,则对于任意$\epsilon>0$,有:

$\displaystyle \lim_{n\to \infty}P\left\{\left|\frac{1}{n}\sum\limits_{k=1}^{n}X_k - \mu\right|<\epsilon\right\} = 1$

伯努利大数定律

  是辛钦大数定律的推论(其实就是一个特例),$f_A$是$n$次重复试验中事件$A$发生的次数,$p$是每次试验$A$发生的概率,对于任意$\epsilon>0$,有:

$\displaystyle \lim_{n\to \infty}P\left\{\left|\frac{f_A}{n} - p\right|<\epsilon\right\} = 1$

中心极限定理

独立同分布的中心极限定理

  对于服从同一分布的相互独立随机变量$X_1,X_2,X_3,...$,期望和方差分别为$E(X_k)  = \mu, D(X_k)=\sigma^2>0$,则他们均值的标准化变量

$\displaystyle Y_n = \frac{\displaystyle\frac{1}{n}\sum\limits_{k=1}^{n}X_k-E(\frac{1}{n}\sum\limits_{k=1}^{n}X_k)}{\displaystyle\sqrt{D(\frac{1}{n}\sum\limits_{k=1}^{n}X_k)}} = \frac{\displaystyle\frac{1}{n}\sum\limits_{k=1}^{n}X_k-\mu}{\sigma/\sqrt{n}} =  \frac{\overline{X}-\mu}{\sigma/\sqrt{n}} $

  的分布函数$F_n(x)$对于任意$x$满足:

$\displaystyle \lim_{n\to \infty}F_n(x) = \lim_{n\to \infty}P\left\{ \frac{\overline{X}-\mu}{\sigma/\sqrt{n}}\leqslant x\right\} =  \int _{-\infty}^{x} \frac{1}{\sqrt{2\pi}} e^{-t^2/2}{\rm d}t = \Phi(x)$

  也就是说,当抽样无穷大且各个抽样相互独立时,任何分布的标准化样本均值都服从标准正态分布。其实,在样本量比较大时,直接就把样本均值的分布看成正态分布就完事了。这样一来也可以用$t$分布了:

$\displaystyle  \frac{\overline{X}-\mu}{S/\sqrt{n}} \sim t(n-1)$

  书中没有给出证明,直观感受一下。抽样无穷大时,样本均值无限接近于总体均值也就是期望,样本均值的方差无限接近于0。这样一来,最后样本均值的分布和原本的分布没关系也就理所当然了。

独立不同分布的中心极限定理(李雅普诺夫定理)

  实际上就是,对于分别服从不同分布的相互独立随机变量$X_1,X_2,X_3,...$,他们的均值标准化后也服从标准正态分布。

二项分布的中心极限定理(棣莫弗—拉普拉斯定理)

  这是独立同分布的中心极限定理的特殊情况,也就是当这个分布是二项分布时,而其中的$X_k$只能取值为0或1。所以按照式子,对于期望是$p$的二项分布而言,有:

$\displaystyle \lim_{n\to \infty}P\left\{\frac{\displaystyle \overline{X}-p}{\sqrt{p(1-p)}/\sqrt{n}}\leqslant x\right\} = \Phi(x)$

  也就是说,当二项分布抽样无穷大时,抽中1的频率的分布标准化后服从标准正态分布。