官方解释
求未知参数点估计的一种重要方法。思路是设一随机试验在已知条件下,有若干个结果A,B,C,…,如果在一次试验中A发生了,则可认为在已知条件下最有利于A发生,
故应按照已知条件选择分布的参数,使发生A的概率最大。
通俗理解
1. 极大似然是用来求某种分布的参数的方法。那怎么求呢?
2. 在某种情况(模型已知,参数已定)下,我们通过做实验,甚至可以多做几次实验,看看实验结果,我们希望发生的事情发生了没,如果没发生,说明我们实验的方法不对(不能这么搞,说明前提(假设的分布)错了),
如果发生了,看看结果是什么样的,我们的目标是想办法让这个结果尽可能发生,也就是让这个结果发生的概率最大。
极大似然的前提是样本独立同分布。
此时 P(AB)=P(A)P(B)
实例
有一个罐子,里面有黑白两种球,数目多少不知,两种颜色的比例也不知。我 们想知道罐中白球和黑球的比例,但我们不能把罐中的球全部拿出来数。
现在我们可以每次任意从已经摇匀的罐中拿一个球出来,记录球的颜色,然后把拿出来的球 再放回罐中。这个过程可以重复,我们可以用记录的球的颜色来估计罐中黑白球的比例。假如在前面的一百次重复记录中,有七十次是白球,请
问罐中白球所占的比例最有可能是多少?
很多人马上就有答案了:70%。而其后的理论支撑是什么呢?
我们假设罐中白球的比例是p,那么黑球的比例就是1-p。因为每抽一个球出来,在记录颜色之后,我们把抽出的球放回了罐中并摇匀,所以每次抽出来的球的颜色服从同一独立分布。
这里我们把一次抽出来球的颜色称为一次抽样。题目中在一百次抽样中,七十次是白球的,三十次为黑球事件的概率是P(样本结果|Model)。
P(样本结果|Model)=P70(1-P)30
重点:这里要注意,实验结果70白30黑这件事,是在我们假设的情况下发生的,而这件事其实是真实的,我们要做的是让这件事尽可能发生,即发生的概率接近1,那么怎么尽可能发生,就是调整我们的分布参数。
事情尽可能发生,就是发生的概率最大,就是求P的导数
(P70(1-P)30)'
=70P69(1-P)30+30P70(1-P)29*(-1)
=10P69(1-P)29(7(1-P)-3P)
=10P69(1-P)29(7-10P)
=0
P=0.7 正解
极大似然牵扯的东西挺多的,后期再更新吧