极大似然估计

文章目录

• ​​贝叶斯决策​​
• ​​极大似然估计​​
• ​​求解极大似然函数​​
• ​​完整例子充分理解​​
• ​​总结​​

• ​​求解极大似然估计量​​
• ​​特点​​

贝叶斯决策

我们都知道经典的贝叶斯公式：
$p(w|x)=\frac{p(x|w)p(w)}{p(x)}$

• x指事件，w指类别
• p(w)为先验概率，表示每种类别分布的概率
• p(x|w)为类条件概率，在某种类别的条件下，事件x发生的概率
• p(w|x)为后验概率，表示事件x发生的情况下，类别是w的概率

举个例子理解下上面三个概念：
例子：夏天男性穿凉鞋的比例为1/2，女性穿拖鞋的比例为2/3，男女的比例2:1，如果遇到一个穿凉鞋的人，男性和女性的概率是多少？
假设男性为$w_1$，女性为$w_2$，穿凉鞋为x。根据贝叶斯公式，$p(w_1)=\frac{p(x|w_1)p(w)}{p(x)}$
我们要计算穿凉鞋发生的情况下，男性类别的概率，只需要再计算p(x)。p(x)包含两种情况，我们认为男性和女性穿凉鞋的概率是独立的。
$p(x)=p(x|w_1)p(w_1)+p(x|w_2)p(w_2)=1/2*2/3+2/3*1/3=5/9$
则穿凉鞋的人是男性的概率$p(w_1|x)=\frac{p(x|w_1)p(w)}{p(x)}=\frac{1/2*2/3}{5/9}=3/5$

上述情况是比较理想的，通常我们不知道先验概率和类条件概率。

• 先验概率可以用训练样本中各类出现的频率估计。
• 类条件概率的估计比较难，原因包括：概率密度函数包含了一个随机变量的全部信息；样本数据可能不多；特征向量x的维度可能很大等等。总之要直接估计类条件概率的密度函数很难。解决的办法就是，把估计完全未知的概率密度$p(x|w_i)$转化为估计参数。这里就将概率密度估计问题转化为参数估计问题，极大似然估计就是一种参数估计方法。

极大似然估计

最大似然估计的目的就是：利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值。再明确些，就是根据已知的样本结果，求样本集的概率密度函数的参数。
举个例子：有两个外形完全相同的箱子，甲箱子有99只白球，1只黑球；乙箱子有99只黑球，1只白球，一次实验从两个箱子取出一球，是黑球。问：黑球从哪个箱子取出？
我们第一印象，最像乙箱子取出的，这个最像就是最大似然之意，成为最大似然原理。
假设一个样本集D的样本独立同分布，可以通过$D=\{x_1,x_2,x_3,...,x_N\}$估计参数向量$\theta$，使得似然函数最大。
似然函数为：联合概率密度函数$p(D|\theta)$
$l(\theta)=p(D|\theta)=p(x_1,x_2,...,x_N|\theta)=\prod_{i=1}^Np(x_i|\theta)$

从上式可以看出联合概率密度函数=所有概率相乘，引出了极大似然估计的前提：

• 训练样本的分布想要代表样本的真实分布：每个样本集中的样本都是独立同分布的随机变量 (iid条件)，且有充分的训练样本。

似然函数还有两种形式，对于求解而言是等价的。
$p(x_1,x_2,...,x_N|\theta)=\prod_{i=1}^np(x_i|\theta)^{num_i}\\ l(\theta)=\prod_{i=1}^np(x_i|\theta)^{\frac{num_i}{N}}$

如果向量$\hat\theta$能使似然函数$l(\theta)$最大，则$\hat\theta$就是$\theta$的极大参数估计量。它是样本集的函数记作
$\hat\theta=d(x_1,x_2,...,x_N)=d(D)$

求解极大似然函数

求使得出现该组样本的概率最大的$\theta$
$\hat\theta=argmax\, l(\theta)=argmax\,\log{(\prod_{i=1}^Np(x_i|\theta))}=argmax\sum_{i=1}^{N}\log{p(x_i|\theta)}$
当$\theta$是一个值，在似然函数满足连续，可微的正则条件下，极大似然估计量是$\frac{dl(\theta)}{d\theta}=0$的解。
当$\theta$是一个向量，$\theta=[\theta_1,\theta_2,...,\theta_S]^T$.记梯度算子$\nabla_\theta=[\frac{\partial}{\partial\theta_1},\frac{\partial}{\partial\theta_2},...,\frac{\partial}{\partial\theta_s}]^T$
若似然函数满足连续可导的条件，则最大似然估计量就是$\nabla_\theta{ln(\theta)}=0$的解

方程的解只是一个估计值，只有在样本数趋于无限多的时候，它才会接近于真实值。

完整例子充分理解

已知口袋中有10个球，球可能是白色或黑色。每次抽取一个球，记录颜色后放回口袋。
如果抽取10次，白球出现7次，黑球出现3次，问口袋里最有可能的白球总数量。

将抽球结果作为X，即离散随机变量，设白球为X=1，黑球为X=0 。假设抽到白球的概率为$\theta$，$\theta$。

写出似然函数： $L(\theta|x)=P(x,\theta)=\theta^x*(1-\theta)^{1-x}$ 可知当捡到白球，概率密度函数为$\theta$，捡到黑球，密度函数$1-\theta$
对于10次有放回抽球可以认为是10次独立事件，其符合二项分布。
对于二项分布，出现符合观测情况的，白球出现7次，黑球出现三次的概率密度函数为
$P(X,\theta)=\prod_{i=1}^{10}P(x,\theta)=P(x_1,\theta)*P(x_2,\theta)*...*P(x_{10},\theta)=\theta^7*(1-\theta)^3$
写成似然函数形式
$L(\theta|X)=P(X,\theta)=\theta^7*(1-\theta)^3$
求对数，求导：
$dln(L(\theta))/d\theta=7/\theta-3/(1-\theta)$
解得$\theta$=0.7，似然函数取得最大值。因此我们认为白球占总数70%时，10次抽球最可能出现7次白球。

​​极大似然函数、最小二乘、交叉熵之间的联系​​

总结

求解极大似然估计量

• 1.根据概率密度函数写出似然函数
• 2.对似然函数取对数，整理
• 3.求导数
• 4.解似然方程

特点

最大似然估计的特点：

• 1.比其他估计方法更加简单；
• 2.收敛性：无偏或者渐近无偏，当样本数目增加时，收敛性质会更好；
• 3.如果假设的类条件概率模型正确，则通常能获得较好的结果。但如果假设模型出现偏差，将导致非常差的估计结果。

本文仅记录，未完待续…
​极大似然估计详解​​