• 高斯分布 Gaussian
  • 公式
  • 图示
  • 性质
  • 标准化
  • 期望
  • 二阶距
  • 方差
  • 高斯分布的似然函数
  • 概念
  • 图示
  • 性质
  • 参数估计过程


高斯分布（ Gaussian）

公式

高斯分布被定义为：


N(x|μ,σ)=1(2πσ2)1/2exp{−12σ2(x−μ)2}

均值（mean） μ
方差（variance） σ2
标准差（standard deviation）：方差的平方根，记做 σ
精度（precision）：方差的倒数，写作： β=1/σ2

图示

性质

标准化

高斯分布式标准化的



∫∞−∞N(x|μ,σ2)dx=1

期望

x


E[x]=∫∞−∞N(x|μ,σ2)xdx=μ

参数 μ 表示在分布下的 x

二阶距



E[x2]=∫∞−∞N(x|μ,σ2)x2dx=μ2+σ2

方差



var[x]=E[x2]−E[x]2=σ2

  • σ2
  • 分布中出现最多的被称为众数
  • 在高斯分布中众数正好与均值重合

高斯分布的似然函数

概念

假定，独立的从均值 μ 和方差 σ2

  • 已知两个独立事件的联合概率是各个事件的边缘概率的乘积
  • 数据集 X
  • 关于 μ,σ2



p(X|μ,σ2)=∏n=1NN(xn|μ,σ2)

图示


似然函数对应于蓝色值的乘积

性质

通过最大化似然函数来确定高斯分布中的 μ,σ2
最大化一个函数的对数 => 最大化原函数
似然函数的对数函数



lnp(x|μ,σ2)=−12σ2∑n=1N(xn−μ)2−N2lnσ2−N2ln(2π)

μ



μML=1N∑n=1Nxn

是观测到的样本均值（sample mean）

方差的最大似然解：


σ2ML=1N∑n=1N(xn−μML)2

参数估计过程

  1. 先求出 μ 然后用这个结果来求 σ2
  2. 使用最大化似然求解一元高斯分布的参数
  3. 最大似然方法会系统性的低估分布的方差，称为偏置（bias）现象

最大似然的解： μML,σ2ML 是关于数据集的值 x1,...,xn 的函数。考虑这些量关于具有参数 μ,σ2 的高斯分布的数据集的期望，可以得到：

E[μML]E[σ2ML]==μ(N−1N)σ2