python拟合多元正态分布 多元正态分布spss

引言

正态分布是19世纪德国科学家Gauss（1777—1855）在研究单个测量误差$\varepsilon$的分布时导出一元正态分布$N(0,\sigma^2)$，而多元正态是由多个测量误差的联合分布导出的$N_p(\mu,\varepsilon)$。多元正态分布在多元统计分析中所占的重要地位，如同一元统计分析中一元正态分布所占的重要地位一样，多元统计分析中的许多重要理论和方法都是直接或间接建立在正态分布的基础上，多元正态分布是多元统计分析的基础，同时它具有许多优良的性质。此外，在实用中遇到的随机向量常常是服从正态分布或近似正态分布。因此现实世界中许多实际问题的解决办法都是以总体服从正态分布或近似正态分布为前提的。

一元正态分布的定义

定义1： 一元正态分布的概率密度函数为：$f(x)=\frac{1}{\sqrt{2\pi \sigma}}\exp\left[-\frac{1}{2}\left(\frac{x-\mu}{\sigma}\right)^2\right] \quad -\infty<x < +\infty$

多元正态分布的定义

定义2： 多元正态分布是一元正态分布的推广，若$p$维随机向量$X=(X_1,\cdots,X_p)^{\top}$的密度函数为$f(x)=\frac{1}{\sqrt{(2\pi)}^p|\Sigma|^{\frac{1}{2}}}\exp \left[-\frac{1}{2}(x-\mu)^{\top}\Sigma^{-1}(x-\mu)\right]$其中，$x=(x_1,\cdots,x_p)^{\top}$，$\mu$是随机向量$X$的$p$维均值向量，$\Sigma$是$X$的$p$阶协方差阵（是正定阵以保证$\Sigma^{-1}$存在），则称$X$服从$p$元正态分布，也称$X$为$p$维正态随机向量，简记为$X\sim N_p(\mu,\Sigma)$，显然当$p=1$时，即为一元正态密度函数。

定义3： 独立标准正态变量$X_1,\cdots,X_p$的有限线性组合：$Y=\left[\begin{array}{c}Y_1\\ \vdots\\ Y_m\end{array}\right]=A_{m\times p} \left[\begin{array}{c}X_1\\ \vdots\\ X_p\end{array}\right]+\mu_{m\times 1}$称为$m$维正态随机向量，记为$Y \sim N_m(\mu,\Sigma)$，其中$\Sigma=AA^{\top}$，这里需要注意的是$\Sigma=AA^{\top}$的分解一般不是唯一的。

定义4： 若$X$的特征函数为$\Phi(t)=\exp(i t^{\top}\mu-\frac{1}{2}t^{\top}\Sigma t),$其中$t$为实向量，则称$X$服从$p$元正态分布，显然用特征函数定义，可以包括$|\Sigma|=0$情况。

多元正态变量的基本性质

• 若$X=(X_1,\cdots,X_p)^{\top}\sim N(\mu,\Sigma)$，$\Sigma$是对角阵，则$X_1,\cdots,X_p$相互独立。
• 若总体$X=(X_1,\cdots,X_p)^{\top}\sim N(\mu,\Sigma)$，则每个分量$X_i \sim N(\mu_i,\sigma_{ii})(i=1,\cdots,p)$，$X$中的任何部分集合构成的向量也服从正态分布，即多元正态随机向量$X$的所有子集都服从正态分布。
• $X=(X_1,\cdots,X_p)^{\top}\sim N_p(\mu,\Sigma)$，则随机变量的任意线性组合：$a^{\top}X=a_1X_1+a_2X_2+\cdots+a_pX_p \sim N(a^{\top}\mu,a^{\top}\Sigma a)$。反之，如果对任意向量$a$，$a^{\top}X\sim N(a^{\top}\mu,a^{\top}\Sigma a)$，则$X\sim N_p(\mu,\Sigma)$。
• $X \sim N_p(\mu,\Sigma)$，$A$为$s \times p$阶常数阵，$d$为$s$维常数向量，则$AX+d\sim N_s(A\mu+d,A\Sigma A^{\top})$，即正态随机向量的线性函数还是正态的。
• 若$X \sim N_p(\mu,\Sigma)$，将$X,\mu,\Sigma$作如下部分：$X=\left(\begin{array}{c}X^{(1)}\\X^{(2)}\end{array}\right)^q_{p-q}\quad \mu=\left(\begin{array}{c}\mu^{(1)}\\\mu^{(2)}\end{array}\right)\quad \Sigma=\left(\begin{array}{cc}\Sigma_{11}&\Sigma_{12}\\\Sigma_{21}&\Sigma_{22}\end{array}\right)^{q}_{p-q}$则$X^{(1)}\sim N_q(\mu^{(1)},\Sigma_{11})$，$X^{(2)}\sim N_{p-q}(\mu^{(2)},\Sigma_{22})$。
• $X \sim N_p(\mu,\Sigma)$，$|\Sigma|>0$，则$\Sigma^{-1}(x-\mu)\sim \chi^2(p)$。