多元正态分布python 多元正态分布标准化

文章目录

• 二、多元正态分布

• 1.多元正态分布的定义
• 2.多元正态分布分量独立性
• 3.多元正态分布的条件分布
• 4.最佳预测
• 回顾总结

二、多元正态分布

1.多元正态分布的定义

由大数定律，自然界中许多随机现象都服从正态分布，因此在统计中正态分布是最重要的一类分布，在多元统计中也是如此，现在我们先对多元正态分布作出定义。值得注意的是，有很多种定义方式都可以定义出一个多元正态分布，我们将从不同角度进行定义。

第一种定义从标准正态分布随机向量的线性变换入手。

多元正态分布定义一：设$U=(U_1,\cdots,U_q)$是随机向量且$U_1,\cdots,U_q$相互独立，服从标准正态分布即$N(0,1)$分布。对$p$维常数向量$\mu$和$p\times q$常数矩阵$A$，记
$X=AU+\mu,$
则称$X$的分布为$p$元正态分布，称$X$为$p$维正态随机向量，记作$X\sim N_p(\mu.AA$。

在第一种定义中，多元正态分布被表示为一些相互独立的标准正态随机变量的一些线性组合构成的随机向量的分布。显然${\rm E}(U)=0,{\rm D}(U)=I_p$，所以${\rm E}(X)=\mu,{\rm D}(X)=AA$，也就是说多元正态分布$N_p(\mu,AA$中两个参数分别是随机向量的均值向量与自协方差矩阵。

在一元统计中，随机变量的分布能与其特征函数唯一相互确定。在多元统计也是这样，且多元统计中的特征函数，是一组数到一个数的映射，即$X$的特征函数为$\Phi_X(t)={\rm E}e^{{\rm i}t$。因此，我们如果能求出$X$的特征函数形式，就可以从特征函数的角度定义多元正态分布，现在我们求如定义一定义的的$X$的特征函数，如下。
$\begin{aligned} \Phi_X(t)=&{\rm E}(e^{{\rm i}t$
这里第三行到第四行是因为$U_1,\cdots,U_q$相互独立，第四行到第五行是因为标准正态分布的特征函数为$\varphi(s)=\exp\{-\frac12s^2\}$，第六行到第七行运用了内积的性质。

因为标准正态分布的两个参数分别是均值向量和自协方差矩阵，对比在特征函数中的形式，我们可以从特征函数的角度定义$p$元正态分布：

多元正态分布定义二：若$p$维随机向量$X$的特征函数为
$\Phi_X(t)=\exp\left[ {\rm i}t$
则称$X$服从$p$维正态分布，这里$\mu,\Sigma$分别是均值向量和自协方差矩阵。

这说明，如果$X$服从$p$维正态分布，则$X$的分布仅由两个参数决定——均值向量、自协方差矩阵。如果$X\sim N_p(\mu,\Sigma)$，则$\Sigma=AA$，由定义一，$X\stackrel {\rm d}=AU+\mu$。如果对$X$作线性变换，即用一个$s\times p$常数矩阵$B$和$s$维常数向量$d$进行处理：$Y=BX+d$，则
$Y=BX+d\stackrel {\rm d}= B(AU+\mu)+d=BAU+B\mu+d,$
所以$Y\sim N_s(B\mu+d,BAA$，即对正态随机向量作线性变换得到的仍然是正态随机向量。特别取$B=(I_r,O)$时，推出正态随机向量$X$的边缘分布仍然是正态随机向量（变量）。

第三种定义由正态随机变量的线性变换定义，这里注重的是随机向量的内部结构。

多元正态分布定义三：若$p$维随机向量$X$的任意线性组合均服从一元正态分布，则称$X$为$p$维正态随机向量。

因为我们已经证明了，以前两种方式定义的多元随机向量$X$的任意线性变换，得到的一维随机变量服从正态分布（只需取$B$是$1\times p$向量，$d=0$即可），所以要证明这个定义与前两种定义的等价性，需要证明，对任意随机向量$X$和实向量$a$，$\xi=a$是正态随机变量，能推出$X$是由前两种方式定义的$p$维正态随机向量。

既然$a$是一元正态分布，则${\rm E}(X)=\mu,{\rm D}(X)=\Sigma$必然存在，这样${\rm E}(a$，${\rm D}(a$，且$a$的特征函数是
$\varphi(t)={\rm E}e^{{\rm i}t(a$
所以
$\varphi(1)={\rm E}e^{{\rm i}a$
这就说明$X$服从$p$维正态分布（定义二）。

最后一种定义则由联合密度入手，计算由前三种定义导出的$X$的联合密度，这样，服从此联合密度的随机向量就应该是$p$维随机向量。

不妨设$X\stackrel {\rm d}=AU+\mu$如定义一所示，则$U\to X$的变换雅克比行列式为
$J(u\to x)=\frac{1}{J(x\to u)}=\left({\rm abs}\left|\frac{\partial x$
此时要求$\Sigma>0$。因为$U$为标准独立正态随机变量构成的随机向量，所以$U$的联合密度函数为：
$f(u)=\frac{1}{(2\pi)^{p/2}}\exp\left[-\frac 12 u$
这样就得到
$\begin{aligned} f(x)=&f(u)J(u\to x)\\ =&\frac{1}{(2\pi)^{p/2}}\exp\left[-\frac12[A^{-1}(x-\mu)]$

多元正态分布定义四：如果$p$维随机向量$X$的联合密度函数为
$f(x)=\frac{1}{(2\pi)^{p/2}|\Sigma|^{1/2}}\exp\left[-\frac12(x-\mu)$
这里$\mu$是$p$维实向量，$\Sigma$是$p$阶正定矩阵，则称$X$服从$p$维正态分布，即$X\sim N_p(\mu,\Sigma)$。

纵观多元正态分布的四种定义，分别从独立标准正态分布、特征函数、随机向量自身结构、联合密度函数入手，表示同一种分布类型。也就是说，正态随机向量只需要两个参数——均值向量、自协方差矩阵就能够得到很多信息。

2.多元正态分布分量独立性

要讨论正态随机向量的独立性，就要将正态向量的分量分为两个部分，我们不妨将两组分量集中放置，即将$p$维随机向量分成$r$维的一组$X^{(1)}$与$p-r$维的一组$X^{(1)}$，这样就是
$X=\begin{bmatrix} X^{(1)}\\ X^{(2)} \end{bmatrix}, \mu=\begin{bmatrix} \mu^{(1)}\\ \mu^{(2)} \end{bmatrix}, \Sigma=\begin{bmatrix} \Sigma_{11}&\Sigma_{12}\\ \Sigma_{21}&\Sigma_{22} \end{bmatrix}.$
既然将分量分成了两组，我们可以研究这两组分量之间的关系。最直接的关系就是独立性，如果$X$独立的，那么有$f(x^{(1)},x^{(2)})=f_1(x^{(1)})f_2(x^{(2)})$。接下来的定理给出了独立性的条件：

正态随机向量的独立性：$X^{(1)},X^{(2)}$独立，等价于$X^{(1)},X^{(2)}$不相关，即
${\rm COV}(X^{(1)},X^{(2)})=O,\\ {\rm COV}(X^{(2)},X^{(1)})=O.$

对于一般的随机向量，独立涵盖不相关，但不相关不意味着独立，而在正态约束下独立与不相关是等价的，因为
$\begin{aligned} f(x^{(1)},x^{(2)})=&\frac{1}{(2\pi)^{p/2}|\Sigma|^{-1/2}}\exp\left\{-\frac12(x-\mu)$
也就是说，如果将$X$进行分块，得到的分块自协方差阵只要是分块对角阵，则按照此分块方式，$X$的分量各组合是不相关的，也就是相互独立的。特别当$\Sigma$本身是对角阵的时候，$X$的每一个分量之间都相互独立，结合$\Sigma$是实对称矩阵可以正交对角化的特点，就可以用一个正交变换，将$X$变成等量独立正态变量组成的随机向量$Y$。

3.多元正态分布的条件分布

但是，当$X^{(1)},X^{(2)}$不独立时，求条件分布就比较繁琐。比较基础的问题是，给定$X^{(2)}$时，$X^{(1)}$的条件分布还是不是一个$r$元正态分布？如果是，它的均值、自协方差矩阵分别是多少？以下定理给出了解答。

正态分布的条件分布：设$X\sim N_p(\mu,\Sigma)$，被分组成为$X^{(1)},X^{(2)}$，则给定$X^{(2)}$时$X^{(1)}$的条件分布是
$(X^{(1)}|X^{(2)}=x^{(2)})\sim N_r(\mu_{1\cdot2},\Sigma_{11\cdot2}),$
其中
$\mu_{1\cdot2}=\mu^{(1)}+\Sigma_{12}\Sigma_{22}^{-1}(x^{(2)}-\mu^{(2)}),\\ \Sigma_{11\cdot2 }=\Sigma_{11}-\Sigma_{12}\Sigma_{22}^{-1}\Sigma_{21}.$
也就是说，多元正态分布的条件分布仍然是一个正态分布。

要证明这个定理，作一个非奇异线性变换：
$Z=\begin{bmatrix} Z^{(1)}\\Z^{(2)} \end{bmatrix}=\begin{bmatrix} X^{(1)}-\Sigma_{12}\Sigma_{22}^{-1}X^{(2)}\\ X^{(2)} \end{bmatrix}=\begin{bmatrix} I^r & -\Sigma_{12}\Sigma_{22}^{-1}\\ O & I_{p-r} \end{bmatrix}\begin{bmatrix} X^{(1)}\\X^{(2)} \end{bmatrix}=BX.$
做这个非奇异线性变化的意义，其实是在$X^{(1)}$中，扣掉在$X^{(2)}$方向上的那部分，也就相当于把$X^{(1)}$向与$X^{(2)}$正交的方向做一个映射，我们接下来将证明$Z^{(1)},Z^{(2)}$是相互独立的，也就是在这样的处理后，将$X^{(1)}-\Sigma_{12}\Sigma_{22}^{-1}X^{(2)}$与$X^{(2)}$变成相互正交的。所以这个$\Sigma_{12}\Sigma_{22}^{-1}$事实上是很重要的一个量，$X^{(1)}$在$X^{(2)}$方向上投影的大小，要想构造出来，就要找到一个$A$使得$X^{(1)}-AX^{(2)}$与$X^{(2)}$相互独立，最后能够得到$A=\Sigma_{12}\Sigma_{22}^{-1}$。

现在我们要证明$Z^{(1)},Z^{(2)}$是相互独立的，由于在线性变换下$Z$是一个多元正态分布，所以只需要计算其均值、方差即可确定其分布，那么
$\begin{aligned} &{\rm E}(Z)=B{\rm E}(X)=\begin{bmatrix} \mu^{(1)}-\Sigma_{12}\Sigma_{22}^{-1}\mu^{(2)} \\ \mu^{(2)} \end{bmatrix},\\ &{\rm D}(Z)=B{\rm D}(X)B$
这就证明$Z^{(1)},Z^{(2)}$的不相关性，即独立，于是$Z^{(1)},Z^{(2)}$的联合密度函数很容易写出，且$Z^{(1)}\sim N_r(\mu^{(1)}-\Sigma_{12}\Sigma_{22}^{-1}\mu^{(2)},\Sigma_{11}-\Sigma_{12}\Sigma_{22}^{-1}\Sigma_{21})=N_r(\mu^{(1)}-\Sigma_{12} \Sigma_{22}^{-1}\mu^{(2)},\Sigma_{11\cdot 2})$。又因为$J(z\to x)=|B$，所以
$\begin{aligned} f(x^{(1)},x^{(2)})=&g(z^{(1)},z^{(2)})\cdot J(z\to x)\\ =&g_1(z^{(1)})\cdot f_2(x^{(2)})\\ =&g_1(x^{(1)}-\Sigma_{12}\Sigma_{22}^{-1} x^{(2)})\cdot f_2(x^{(2)}),\\ f(x^{(1)}|x^{(2)})=&\frac{f(x^{(1)},x^{(2)})}{f_2(x^{(2)})}\\ =&g_1(x^{(1)}-\Sigma_{12}\Sigma_{22}^{-1}x^{(2)})\\ =&\frac{1}{(2\pi)^{r/2}|\Sigma_{11\cdot2}|^{1/2}}\\& \exp\left\{ (x^{(1)}-\Sigma_{12}\Sigma_{22}^{-1}x^{(2)}-\Sigma_{12}\Sigma_{22}\mu^{(2)})$
也就是$(X^{(1)}|X^{(2)})\sim N_r(\mu_{1\cdot2},\Sigma_{11\cdot2})$，证明了结论。

在结论的证明过程中，我们注意到$\Sigma_{12}\Sigma_{22}^{-1}$是一个很重要的量，它消除了$X^{(1)}$对$X^{(2)}$的关联部分，我们称$\Sigma_{12}\Sigma_{22}^{-1}$是$X^{(1)}$对$X^{(2)}$的回归系数，类似地，$\Sigma_{21}\Sigma_{11}^{-1}$就是$X^{(2)}$对$X^{(1)}$的回归系数；同时，$X^{(1)}$在扣除其对$X^{(2)}$的回归部分后，与$X^{(2)}$是独立的；$X^{(2)}$在扣除其对$X^{(1)}$的回归部分后与$X^{(1)}$是独立的，这些都是在证明中得到的结论。

在给定$X^{(2)}$时$X^{(1)}$的条件期望$\mu_{1\cdot2}=\mu^{(1)}+\Sigma_{12}\Sigma_{22}^{-1}(x^{(2)}-\mu^{(2)})$称为$X^{(1)}$对$X^{(2)}$的回归。记$\Sigma_{11\cdot 2}=(\sigma_{ij\cdot2})_{r\times r}$，则给定$X^{(2)}$时$X_i,X_j\in X^{(1)}$的“条件相关系数”称为偏相关系数，即
$r_{ij\cdot2}=\frac{\sigma_{ij\cdot2}}{\sqrt{\sigma_{ii\cdot2}\sigma_{jj\cdot2}}}.$

4.最佳预测

在实际生活中，我们可能会用某个对象的若干个属性，对一个属性进行预测。其中，若干个属性是可以测量的，需要预测的属性是不可测量需要估计的。如何将这个属性最好地估计出来是一个需要考虑的问题，因此我们在多元正态分布的分块中，将分量分成（待估的）$1$个一组和（可测的）$p$个一组，讨论这类特殊情况。

如果将正态随机向量拆分为$1$个分量与$p$个分量构成的两组，也就是
$Z=\begin{bmatrix} X\\Y \end{bmatrix}\begin{matrix} p\\1 \end{matrix}\sim N_{p+1}\left(\begin{bmatrix} \mu_X\\\mu_y \end{bmatrix},\begin{bmatrix} \Sigma_{XX} & \Sigma_{Xy} \\ \Sigma_{yX} & \sigma_{yy} \end{bmatrix}\right),$
如果给定$X$，则一维随机正态变量$Y$的方差为${\rm D}(Y|X=x)=\sigma_{yy}-\Sigma_{yX}\Sigma_{XX}^{-1/2}\Sigma_{Xy}$，期望为${\rm E}(Y|X=x)=\mu_y+\Sigma_{yX}\Sigma_{XX}(x-\mu_X)$。称$Y$与$X=(X_1,\cdots,X_p)$的全相关系数为
$R=\left(\frac{\Sigma_{yX}\Sigma_{XX}^{-1}\Sigma_{Xy}}{\sigma_{yy}} \right)^{1/2}.$
可以看到，满足$\sigma_{yy}(1-R^2)={\rm D}(Y)$，所以给定$X$的情况下，$Y|X$的方差与$X$的测定值无关，只与$Y$自身的方差与全相关系数有关，且全相关系数越大，$Y|X$的方差就越小。

另外，条件期望${\rm E}(Y|X=x)\stackrel {\rm def}=g(x)$，实际上是在均方误差最小的准则下，对$Y$的最佳预测函数，因为对任何其他$p$元函数$\varphi(x)$，都有
$\begin{aligned} &{\rm E}[(Y-\varphi(x))^2]\\ =&{\rm E}[(Y-g(x))^2]+{\rm E}[(g(x)-\varphi(x))^2]-2{\rm E}[(Y-g(x))(g(x)-\varphi(x))]\\ \ge&{\rm E}[(Y-g(x))^2]-2{\rm E}[(Y-g(x))(g(x)-\varphi(x))]\\ =&{\rm E}[(Y-g(x))^2]-2{\rm E}[{\rm E}((Y-g(x))(g(x)-\varphi(x)) |x)]\\ =&{\rm E}[(Y-g(x))^2]. \end{aligned}$

回顾总结

1. 多元正态分布有四种定义方式，除了第一种从独立标准正态分布的线性变换入手外，另外三种都从随机向量自身的性质入手，分别是特征函数、正态性结构、密度函数。其中特征函数与密度函数（要求正定协方差阵）如下：
   $\varphi_X(t)=\exp\left[{\rm i}t$
2. 对正态随机向量，不相关与独立等价，从而分量组独立，则分组协方差阵是分块对角阵。特别当每个分量都独立时，协方差阵是对角阵。
3. 对于正态随机向量的分量组$X^{(1)},X^{(2)}$，$X^{(1)}$对$X^{(2)}$的回归系数为$\Sigma_{12}\Sigma_{22}^{-1}$，如果从$X^{(1)}$中扣掉回归部分$\Sigma_{12}\Sigma_{22}^{-1}X^{(2)}$，则剩余部分与$X^{(2)}$独立。在给定$X^{(2)}$的情况下，
   $X^{(1)}|X^{(2)}\sim N_r(\mu_{1\cdot2},\Sigma_{11\cdot2})=N_r(\mu^{(1)}+\Sigma_{12}\Sigma_{22}^{-1}(x^{(2)}-\mu^{(2)}),\Sigma_{11}-\Sigma_{12}\Sigma_{22}^{-1}\Sigma_{21}).$
   这里，条件期望称为$X^{(1)}$对$X^{(2)}$的回归。
4. 对于正态随机向量分出的$Y$与$p$维分量$X$，称$g(X)={\rm E}(Y|X)$是已知$X$时$Y$的最佳预测，全相关系数为
   $R=\left(\frac{\Sigma_{yX}\Sigma_{XX}^{-1}\Sigma_{Xy}}{\sigma_{yy}} \right)^{1/2}.$
   全相关系数越大，最佳预测的精确度就越高，方差越小。