经验贝叶斯 python 经验贝叶斯方法图示

转载

jkfox 2024-01-12 15:00:39

文章标签 经验贝叶斯 python 朴素贝叶斯算法图解贝叶斯 Bayes 贝叶斯公式 文章分类 Python 后端开发

图解贝叶斯公式

文章目录

图解贝叶斯公式

前言：
参考链接：
公式背景：
以一个例子来理解先验和后验概率：

贝叶斯公式：
常见名词
我的图：

总结：
联系方式：

前言：

老规矩，先说说为什么要写这篇博客。
研一上《模式识别》和《机器学习》的时候，我是弄懂了贝叶斯公式的，当时还觉得这个简单，我理解了。
但是一段时间没用了之后，我自己推导不出来了。
模糊的印象就是，我当时在百度百科上找到了一个非常好的图解例子；
为什么有这样的印象呢？还不是因为百度百科的信息价值一直都比较低，因此偶尔能找到一个靠谱的词条，记忆尤为深刻~

重新走一遍当初的推导过程，并且，记录分享一下~

参考链接：

贝叶斯公式-百度百科

公式背景：

贝叶斯定理由英国数学家贝叶斯 ( Thomas Bayes 1702-1761 ) 发展，用来描述两个条件概率之间的关系，比如 P(A|B) 和 P(B|A)。按照乘法法则，可以立刻导出：
P(A∩B) = P(A)*P(B|A)=P(B)*P(A|B)。

这个公式太直观了，事件AB同时发生的概率：
等于当事件A发生了之后，再乘以在事件A发生的基础上事件B发生的概率。
或者事件B发生了之后，再乘以在事件B发生基础上事件A发生的概率。
符合朴素的认知习惯。

如上公式可以稍微变化为：
P(A|B)=P(B|A)*P(A)/P(B)。

这个公式从上往下看也很容易理解，就是等式两端，同除以概率P(B)。
试着直观上描述这个公式。
等式左边是事件B发生后，事件A也被发生的概率；就是下图中间的那个部分P(A∩B)，占整个事件B发生的比例；
等式右边是P(B|A)*P(A)，就是P(B∩A)，也是下图中间的那个部分，除以概率P(B)，也就是占整个B发生的比例。
虽然啰里啰嗦的，但是勉强能把简洁的公式，用语言描述出来了~

以一个例子来理解先验和后验概率：

贝叶斯公式：

P(A|B)=P(B|A)*P(A)/P(B)

常见名词

参考链接：
https://www.zhihu.com/question/19725590/answer/32275564

在贝叶斯定理中，每个名词都有约定俗成的名称：P(A)是 A 的先验概率，之所以称为“先验”是因为它不考虑任何 B 方面的因素。

P(A|B)是已知 B 发生后 A 的条件概率，也由于得自 B 的取值而被称作 A 的后验概率。
P(B|A)是已知 A 发生后 B 的条件概率，也由于得自 A 的取值而被称作 B 的后验概率。
P(B)是 B 的先验概率，也作标淮化常量（normalizing constant）。

按这些术语，贝叶斯定理可表述为：
后验概率 = (相似度-条件概率 * 先验概率)/标淮化常量

这里面的相似度是第一次出现，其实就是P(B|A)，如果P(B|A)=P(A|B)，那么事件AB是同一个事件，用条件概率当成相似度，倒也貌似合理~

也就是说，后验概率与先验概率和相似度的乘积成正比。
另外，比例P(B|A)/P(B)也有时被称作标淮相似度（standardised likelihood），Bayes定理可表述为：后验概率 = 标淮相似度 * 先验概率

百度百科例子加强版：

现分别有2黑盒子和3个白盒子，在每个黑盒子里分别有 7 个红球和 3 个白球，在每个白盒子里有1 个红球和 9 个白球。
现已知闭着眼从五个盒子中，摸到了一个盒子，在里面抽出了一个球，是红色的。
问这个红球来自白盒子的概率是多少?

我来写一个较为详细的分析笔记：

在这里例子中，待求的概率是P(从白盒子中|拿到红球)
那么带入公式，可以知道，事件B是拿到了红球，事件A是从白盒子中拿的；
既然明确了事件AB是什么，就从这个题设中，获取已知信息；
P(B|A)=P(拿到红球|从白盒子中)=1/10
P(A)=3/5,因为随机摸盒子，有3/5的概率是白的。
P(B)=P(拿到红球)=3/10，这个就得考虑全盘了，总共红球有5 * 8个，所有的球有5 * 10个
带入可得上面的结果：
P(A│B)=P(B│A)*P(A)/P(B) =1/5

这里的先验概率P(A)是从白盒子中拿，这个和球是什么颜色无关；单纯的看白盒子占所有盒子的中的比例。这个一眼就能看出来，算是先验，应该好理解。

条件概率是P(B|A)，从白盒子中拿到红球的概率；这个就是有条件的了。这个值越大，那么从白盒子中拿红球的概率就越大。

上面两个一乘，就变成了在白盒子中选到红球的概率了