最大似然估计来估计高斯混合模型

最大似然估计

 

通俗的说说最大似然估计吧，文绉绉的概念和严谨的公式推导总是记不住，又让人昏昏欲睡....

1.什么是最大似然估计

 

2.如何估计

 

  设样本：

，概率分布模型：f，要估计的参数θ，优化目标函数：

3.求解

  首先假设样本

独立同分布，则问题转化为：

在实际应用中常用的是两边取对数，得到公式如下：

其中

称为对数似然，而

称为平均对数似然。而我们平时所称的最大似然为最大的对数平均似然，即：　　

4.注意

（1）样本要满足的独立同分布  

（2）参数 θ为参数向量，不一定就是一个数。

（3）求解上面的优化问题的方法可以用导数的方法，但有时可能解不唯一；有时可能行不通。所以也可以用其他优化方法。