正态分布被命名为高斯分布,我们也容易认为是高斯发现了正态分布,其实不然,高斯分布最早由棣莫弗在1718年著作的书籍(Doctrine of Change),及1734年发表的一篇关于二项分布文章中提出的,不过高斯对于正态分布历史地位的确立起到了决定性的作用。本篇主要介绍一维高斯分布参数的极大似然估计如何计算。

一维高斯分布

对于一元实值变量python画出二维联合高斯分布的pdf_似然函数,高斯分布被定义为
python画出二维联合高斯分布的pdf_似然函数_02

给定一个数据集python画出二维联合高斯分布的pdf_似然函数_03,表示变量python画出二维联合高斯分布的pdf_似然函数python画出二维联合高斯分布的pdf_正态分布_05次观测,这里假定每个观测值是独立地从高斯分布中抽取的,分布的均值python画出二维联合高斯分布的pdf_统计学_06 和方差python画出二维联合高斯分布的pdf_统计学_07未知。
因此数据的联合概率为
python画出二维联合高斯分布的pdf_似然函数_08
这里我们使用极大似然估计来估计高斯分布的参数。对数似然函数为

python画出二维联合高斯分布的pdf_极大似然估计_09

将高斯分布的分布函数代入得对数似然函数
python画出二维联合高斯分布的pdf_统计学_10
对似然函数求偏导得
python画出二维联合高斯分布的pdf_正态分布_11
由第一式得出python画出二维联合高斯分布的pdf_统计学_06的解为

python画出二维联合高斯分布的pdf_极大似然估计_13
以此代入第二式,得到python画出二维联合高斯分布的pdf_极大似然估计_14的解为
python画出二维联合高斯分布的pdf_正态分布_15
分别对python画出二维联合高斯分布的pdf_统计学_06python画出二维联合高斯分布的pdf_极大似然估计_14求期望
python画出二维联合高斯分布的pdf_统计学_18

python画出二维联合高斯分布的pdf_正态分布_19

我们可以看到python画出二维联合高斯分布的pdf_概率论_20python画出二维联合高斯分布的pdf_统计学_06的无偏估计,而python画出二维联合高斯分布的pdf_统计学_22则是有偏的,经过修正得无偏估计python画出二维联合高斯分布的pdf_统计学_23

那么为什么一个有偏一个无偏呢?

我们注意到python画出二维联合高斯分布的pdf_统计学_22是关于样本均值python画出二维联合高斯分布的pdf_概率论_20的样本方差。这是因为我们要同时关于python画出二维联合高斯分布的pdf_统计学_06python画出二维联合高斯分布的pdf_极大似然估计_14最大化函数,但是在高斯分布的情况下,python画出二维联合高斯分布的pdf_统计学_06的解和python画出二维联合高斯分布的pdf_极大似然估计_14的无关(python画出二维联合高斯分布的pdf_统计学_30直接得到了python画出二维联合高斯分布的pdf_统计学_06的解),因此我们先估计公式python画出二维联合高斯分布的pdf_统计学_30,然后使用这个结果来估计公式python画出二维联合高斯分布的pdf_极大似然估计_33,感觉是在这个过程中python画出二维联合高斯分布的pdf_极大似然估计_14的估计便产生了偏移。如图

python画出二维联合高斯分布的pdf_概率论_35

当样本数量python画出二维联合高斯分布的pdf_正态分布_05增大时,最大似然解的偏移会逐渐变小,当python画出二维联合高斯分布的pdf_概率论_37时,python画出二维联合高斯分布的pdf_似然函数_38

参考:
陈希孺:概率论与数理统计
模式识别与机器学习(PRML)
维基百科