pytorch 贝叶斯决策 贝叶斯决策的算法

1. 贝叶斯决策理论

贝叶斯决策理论是解决分类问题的一种基本统计途径，其出发点是利用概率的不同分类决策，与相应决策所付出的代价进行折中，它假设决策问题可以用概率的形式描述，并且假设所有有关的概率结构均已知。

2. 各种概率及其关系

• 先验概率：

$\[P(\omega_i) \]$

• 后验概率：

$\[P(\omega_i | x) \]$

• 类条件概率：

$\[P(x |\omega_i ) \]$

• 贝叶斯公式：

$\[P \left( \omega _ { i } | \mathbf { x } \right) = \frac { P ( \mathbf { x } | \omega _ { i } ) P \left( \omega _ { i } \right) } { P ( \mathbf { x } ) } \]$

3. 最小错误率准则

• 判别\(x\)属于\(w=\omega_i\)的错误率：

$\[P ( \text { error } | \mathbf { x } ) = \sum _ { j \neq i } P \left( \omega _ { j } | \mathbf { x } \right) = 1 - P \left( \omega _ { i } | \mathbf { x } \right) \]$

• 判别准则：

$\[i = \arg \max _ { 1 \leq j \leq c } P \left( \omega _ { j } | \mathbf { x } \right) \]$

\(c\)是所有类别总数，根据该将\(x\)归为\(\omega_i\)类

• 根据贝叶斯公式，构造出判别函数$\(g _ { j } ( \mathbf { x } ) = p ( \mathbf { x } | \omega _ { j } ) P \left( \omega _ { j } \right)\)$，即先验概率与类条件概率的乘积。

贝叶斯公式的分母\(P(x)\)，只是起到标量因子的作用，保证各类别的后验概率值的和为1。

• 我们希望判别函数\(g_j(x)\)越大越好，将\(x\)归为判别函数最大的类别。

4. 最小平均风险则

• 一共有\(c\)个类别，将\(w_i\)类的样本判别为\(w_j\)类的代价为\(\lambda_{ij}\)。
• 将未知模式\(x\)判别为\(w_j\)类的平均风险\(g_j(x)\)为：

$\[g _ { j } ( \mathbf { x } ) = - \gamma _ { j } ( \mathbf { x } ) \]$

$\[\gamma _ { j } ( \mathbf { x } ) = \sum _ { i = 1 } ^ { c } \lambda _ { i j } P \left( \omega _ { i } | \mathbf { x } \right) \]$我们希望判别函数\(g_j(x)\)越大越好，也就是相应的风险函数\(\gamma_j(x)\)越小越好。

5. 总结

• 本博客只介绍了部分贝叶斯分类器准则，关于正态分布的贝叶斯分类器没有介绍。
• 根据最小错误率准则，或最小平均风险准则，不难看出，贝叶斯分类器是生成式模型，不能构造一个区分不同类别的判别函数，而是考察待识别模式由不同类别所产生的概率，最后根据不同类别产生该模式的概率大小来决定他的类别属性。后续博客会介绍其他的判别式模型