一.先验概率:(the prior probability)
先验概率是在缺乏某个事实的情况下描述一个变量; 而后验概率是在考虑了一个事实之后的条件概率. 先验概率通常是经验丰富的专家的纯主观的估计. 比如在法国大选中女候选罗雅尔的支持率 p, 在进行民意调查之前, 可以先验概率来表达这个不确定性.
事情还没有发生,要求这件事情发生的可能性的大小,是先验概率.
二.后验概率:(the posterior probability)
后验概率可以根据通过Bayes定理, 用先验概率和似然函数计算出来.
事情已经发生,要求这件事情发生的原因是由某个因素引起的可能性的大小,是后验概率.
下面的公式就是用先验概率密度乘上似然函数,接着进行归一化,得到不定量X在Y=y的条件下的密度,即后验概率密度:
P(x|w)*P(w)
P(w|x)= ----------------------
P(x)
有三个门,里面有一个里有汽车,如果选对了就可以得到这辆车,当应试者选定一个门之后,主持人打开了另外一个门,空的。问应试者要不要换一个选择。假设主持人知道车所在的那个门。
经典解法(结论倒是正确的):
第一次选择正确的概率是1/3,因此汽车在另外两个门里的概率是2/3。主持人指出一个门,如果你开始选错了(2/3概率),则剩下的那个门里100%有汽车;如果你第一次选对(1/3)了,剩下那个门里100%没汽车。
所以主持人提示之后,你不换的话正确概率是1/3*100%+2/3*0=1/3,你换的话正确概率是1/3*0+2/3*100%=2/3。
我先说说这个经典解法的问题吧。对于这个解法的诘问就在于,现在主持人已经打开一个空门了(而且主持人是有意打开这个门的),在这一“信息” 出现后,还能说当初选错的概率是2/3吗?这一后验事实不会改变我们对于先验概率的看法吗?答案是会的。更具体地说,主持人打开一扇门后,对当初选择错误的概率估计不一定等于2/3。
从头说起。假设我选了B门,假设主持人打开了C门,那么他在什么情况下会打开C门呢?
若A有车(先验概率P=1/3),那主持人100%打开C门(他显然不会打开B);
若B有车(先验概率P=1/3),那此时主持人有A和C两个选择,假设他以K的概率打开C(一般K=1/2,但我们暂把它设成变量);
若C有车(先验概率P=1/3),那主持人打开C的概率为0(只要他不傻。。。)
已知他打开了C,那根据贝叶斯公式——这里P(M|N)表示N事件发生时M事件发生的概率:
P(C打开|B有车)* p(B有车)
P(B有车|C打开)= ------------------------------
P(C打开)
P(C打开|B有车)* p(B有车)
= ------------------------------------------------------------
P(C打开|A有车)* p(A有车)+ P(C打开|B有车)* p(B有车)
K * 1/3
= -------------------
1 * 1/3 + K * 1/3
K
= -------
K + 1
该值何时等于1/3 呢(也就是经典解法里的假设)? 只有 K=1/2 时。也就是一般情况下。但如果主持人有偏好,比方说他就是喜欢打开右边的门(假设C在右边),设K=3/4, 那么B有车的概率就变成了 3/5,不再是1/3,后验事实改变了先验概率的估计!
但这并不改变正确的选择,我们仍然应该改选A门, 解释如下:
P(C打开|A有车)* p(A有车)
P(A有车|C打开)= ------------------------------
P(C打开)
P(C打开|A有车)* p(A有车)
= ------------------------------------------------------------
P(C打开|A有车)* p(A有车)+ P(C打开|B有车)* p(B有车)
1 * 1/3
= -------------------
1 * 1/3 + K * 1/3
1
= -------
K + 1
而K < 1(假设主持人没有极端到非C不选的程度),所以永远有 P(B有车|C打开) < P( A有车|C打开).A有车的概率永远比B大,我们还是应该改变选择。
这个解法的重点在于考虑了C被打开这个事实的影响,从而消除了关于先验后验的纷扰。