目录
- 贝叶斯决策
- 一、贝叶斯决策理论
- 二、贝叶斯公式
- 2.1 从条件概率公式推导贝叶斯公式
- 2.2 从全概率公式推导贝叶斯公式
- 三、贝叶斯公式应用
更新、更全的《机器学习》的更新网站，更有python、go、数据结构与算法、爬虫、人工智能教学等着你：https://www.cnblogs.com/nickchen121/p/11686958.html
贝叶斯决策理论：在不完全情报下，对部分未知的状态用主观概率估计。
二、贝叶斯公式2.1 从条件概率公式推导贝叶斯公式
若果\(A\)和\(B\)相互独立，则有\(p(A,B) = p(A)p(B)\)，并有条件概率公式
\[p(A|B) = {\frac{p(A,B)}{p(B)}} \\ p(B|A) = {\frac{p(A,B)}{p(A)}} \\ \]
通过条件概率可得
\[p(A,B) = p(B|A)p(A) \\ p(A|B) = {\frac{p(B|A)p(A)}{p(B)}} \quad \text{简写的贝叶斯公式} \]
\(p(A|B)\)：后验概率，B发生的情况下发生A的概率，需要计算的概率
\(p(B|A)\)：似然度，A假设条件成立的情况发生B的概率
\(p(A)\)：A的先验概率，也可以理解成一般情况下A发生的概率
\(p(B)\)：标准化常量，也可以理解成一般情况下B发生的概率
2.2 从全概率公式推导贝叶斯公式
全概率公式
\[p(B) = \sum_{i=1}^n{p(B|A=A_i)p(A_i)} \quad \text{其中}\sum_{i=1}^n{p(A_i)=1} \]
通过全概率公式可得
\[p(A|B) = {\frac{p(B|A)p(A)}{\sum_{i=1}^n{p(B|A=A_i)p(A_i)}}} \quad \text{完整的贝叶斯公式} \]
在数字通信中，由于随机干扰，因此接受的信号与发出的信号可能不同，为了确定发出的信号，通常需要计算各种概率。
如果发报机以0.6和0.4的概率发出信号0和1；
当发出信号0时，以0.7和0.2的概率收到信号0和1；
当发出信号1时，接收机以0.8和0.2收到信号1和0。
计算当接受机收到信号0时，发报机发出信号0的概率。
通过上述给出的数据可以得到以下推导
\(p(A_0) = 0.6\)：发报机发出信号0的概率
\(p(A_1) = 0.4\)：发报机发出信号1的概率
\(p(B)=p(A_0)p(B|A_0) + p(A_1)p(B|A_1)\)：发报机接收到信号0的概率
\(p(B|A_0) = 0.7\)：发报机发出信号0接收到信号0的概率
\(p(B|A_1) = 0.2\)：发报机发出信号1接收到信号0的概率
\[\begin{align} p(A_0|B) & = {\frac{p(B|A_0)p(A_0)}{p(A_0)p(B|A_0) + p(A_1)p(B|A_1)}} \\ & ={\frac{0.6*0.7}{0.6*0.7 + 0.4*0.2}} \\ & ={\frac{0.42}{0.50}} \\ & =0.84 \end{align} \]
