python画出二维联合高斯分布的pdf

正态分布被命名为高斯分布，我们也容易认为是高斯发现了正态分布，其实不然，高斯分布最早由棣莫弗在1718年著作的书籍（Doctrine of Change），及1734年发表的一篇关于二项分布文章中提出的，不过高斯对于正态分布历史地位的确立起到了决定性的作用。本篇主要介绍一维高斯分布参数的极大似然估计如何计算。

一维高斯分布

对于一元实值变量$x$,高斯分布被定义为
$N\left( x|\mu ,\sigma ^2 \right) =\frac{1}{\left( 2\pi \sigma ^2 \right) ^{\frac{1}{2}}}\exp \left\{ -\frac{1}{2\sigma ^2}\left( x-\mu \right) ^2 \right\}$

给定一个数据集$\boldsymbol{x}=\left( x_1,x_{2,}...,x_N \right) ^T$,表示变量$x$的$N$次观测，这里假定每个观测值是独立地从高斯分布中抽取的，分布的均值$\mu$ 和方差$\sigma ^2$未知。
因此数据的联合概率为
$p\left( \boldsymbol{x|}\mu ,\sigma ^2 \right) =\prod_{i=1}^N{N\left( x_i|\mu ,\sigma ^2 \right)}$
这里我们使用极大似然估计来估计高斯分布的参数。对数似然函数为

$\ln L=\ln p\left( \boldsymbol{x|}\mu ,\sigma ^2 \right) =\ln \prod_{n=1}^N{N\left( x_n|\mu ,\sigma ^2 \right)}$

将高斯分布的分布函数代入得对数似然函数
$\ln L=\ln p\left( \boldsymbol{x|}\mu ,\sigma ^2 \right) =-\frac{1}{2\sigma ^2}\sum_{n=1}^N{\left( x_n-\mu \right)}^2-\frac{N}{2}\ln \sigma ^2-\frac{N}{2}\ln \left( 2\pi \right)$
对似然函数求偏导得
$\left\{ \begin{array}{c} \frac{\partial \ln L}{\partial \mu}=\frac{1}{\sigma ^2}\sum_{i=1}^N{\left( x_i-\mu \right) =0}\\ \frac{\partial \ln L}{\partial \left( \sigma ^2 \right)}=-\frac{N}{2\sigma ^2}+\frac{1}{2\sigma ^4}\sum_{i=1}^N{\left( x_i-\mu \right) ^2}=0\\ \end{array} \right.$
由第一式得出$\mu$的解为

$\mu_{MLE}=\frac{1}{N}\sum\limits _{i=1}^{N}x_{i}$
以此代入第二式，得到$\sigma^2$的解为
$\sigma_{MLE}^{2}=\frac{1}{N}\sum\limits _{i=1}^{N}(x_{i}-\mu_{MLE})^{2}$
分别对$\mu$和$\sigma^2$求期望
$E\left[ \mu _{MLE} \right] =E\left[ \frac{1}{N}\sum\limits_{i=1}^N{x}_i \right] =\frac{1}{N}\sum_{i=1}^N{E\left[ x_i \right] =\mu}$

$\begin{aligned} E\left[ \sigma _{MLE}^{2} \right] &=E\left[ \frac{1}{N}\sum\limits_{i=1}^N{\left( x_i-\mu _{MLE} \right)}^2 \right] =E\text{[}\frac{1}{N}\sum\limits_{i=1}^N{\left( x_{i}^{2}-2x_i\mu _{MLE}+\mu _{MLE}^{2} \right)}\\ &=E\left[ \frac{1}{N}\sum\limits_{i=1}^N{x}_{i}^{2}-\mu _{MLE}^{2} \right] =\frac{1}{N}\sum_{i=1}^N{E\left[ x_i^2 \right] -E\left[ \mu _{MLE}^{2} \right]}\\ &=\frac{1}{N}\sum_{i=1}^N{\left[ var\left( x_i \right) +E^2\left( x_i \right) \right] -\left[ var\left( \mu _{MLE} \right) +E^2\left( \mu _{MLE} \right) \right]}\\ &=\frac{1}{N}\left( N\sigma ^2+N\mu ^2 \right) -\left[ var\left( \frac{1}{N}\sum_{i=1}^N{x_i} \right) +\mu ^2 \right]\\ &=\sigma ^2+\mu ^2-\left[ \frac{1}{N^2}\left( N\sigma ^2 \right) +\mu ^2 \right]\\ &=\sigma ^2+\mu ^2-\frac{1}{N}\sigma ^2-\mu ^2\\ &=\frac{N-1}{N}\sigma ^2\\ \end{aligned}$

我们可以看到$\mu_{MLE}$是$\mu$的无偏估计，而$\sigma_{MLE}^{2}$则是有偏的，经过修正得无偏估计$\hat{\sigma}^{2}=\frac{1}{N-1}\sum\limits _{i=1}^{N}(x_{i}-\mu_{MLE})^{2}$

那么为什么一个有偏一个无偏呢？

我们注意到$\sigma_{MLE}^{2}$是关于样本均值$\mu_{MLE}$的样本方差。这是因为我们要同时关于$\mu$和$\sigma^2$最大化函数，但是在高斯分布的情况下，$\mu$的解和$\sigma^2$的无关（$\frac{\partial \ln L}{\partial \mu}$直接得到了$\mu$的解），因此我们先估计公式$\frac{\partial \ln L}{\partial \mu}$，然后使用这个结果来估计公式$\frac{\partial \ln L}{\partial \left( \sigma ^2 \right)}$，感觉是在这个过程中$\sigma^2$的估计便产生了偏移。如图

当样本数量$N$增大时,最大似然解的偏移会逐渐变小，当$N\rightarrow \infty$时，$\frac {N-1}{N}$

参考：
陈希孺：概率论与数理统计
模式识别与机器学习(PRML)
维基百科