机器学习中的贝叶斯方法阐述贝叶斯算法

转载

mob64ca13f7419f 2023-10-23 20:58:37

文章标签 机器学习中的贝叶斯方法贝叶斯定理机器学习待分类条件概率 文章分类 机器学习人工智能

一、概述

贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。贝叶斯分类器的分类原理是通过先验概率，利用贝叶斯公式计算出后验概率，选择最大后验概率所对应的分类结果。

二、算法

1、原理

首先，我们需要了解条件概率，基本公式为：

机器学习中的贝叶斯方法阐述贝叶斯算法_机器学习

其中P(A|B)表示在B发生的情况下A发生的可能性。

贝叶斯定理是关于随机事件A和B的条件概率，有时候我们很容易得出P(A|B),P(B|A)则很难直接得到，但当我们需要得到P(B|A)时，则需要用到贝叶斯定理：

机器学习中的贝叶斯方法阐述贝叶斯算法_条件概率_02

P(A)，P(B)是A、B的先验概率，因为它不考虑任何B的因素。P(A|B)是B发生的情况下A发生的概率，P(B|A)是A发生的条件下B发生的概率，他们都称为后验概率。这样可以看出，后验概率与先验概率和相似度的乘积成正比。

2、推导

我们从一个通俗的例子来讲，假如你在街上看到一个黑人，让你猜这个人哪里来的，你十有八九猜非洲。为什么呢？因为黑人中非洲人的比率最高，当然人家也可能是美洲人或亚洲人，但在没有其它可用信息下，我们会选择条件概率最大的类别，这就是朴素贝叶斯的思想基础。

朴素贝叶斯分类的正式定义如下：

1、设

机器学习中的贝叶斯方法阐述贝叶斯算法_机器学习中的贝叶斯方法_03

为一个待分类项，而每个a为x的一个特征属性。 2、有类别集合

机器学习中的贝叶斯方法阐述贝叶斯算法_贝叶斯定理_04

。 3、计算

机器学习中的贝叶斯方法阐述贝叶斯算法_条件概率_05

。 4、如果

机器学习中的贝叶斯方法阐述贝叶斯算法_条件概率_06

，则

机器学习中的贝叶斯方法阐述贝叶斯算法_贝叶斯定理_07

。

现在，我们需要知道的是第三步中的概率，因此我们需要进行如下操作：

1、找到一个已知分类的待分类项集合，这个集合叫做训练样本集。

2、统计得到在各类别下各个特征属性的条件概率估计。即

机器学习中的贝叶斯方法阐述贝叶斯算法_待分类_08

3、如果各个特征属性是条件独立的，则根据贝叶斯定理有如下推导：

机器学习中的贝叶斯方法阐述贝叶斯算法_机器学习中的贝叶斯方法_09

因为分母对于所有类别为常数，因为我们只要将分子最大化皆可。又因为各特征属性是条件独立的，所以有：

机器学习中的贝叶斯方法阐述贝叶斯算法_条件概率_10

有上面可知，朴素贝叶斯分为三个阶段：

第一阶段——准备工作阶段，这个阶段的任务是为朴素贝叶斯分类做必要的准备，主要工作是根据具体情况确定特征属性，并对每个特征属性进行适当划分，然后由人工对一部分待分类项进行分类，形成训练样本集合。这一阶段的输入是所有待分类数据，输出是特征属性和训练样本。这一阶段是整个朴素贝叶斯分类中唯一需要人工完成的阶段，其质量对整个过程将有重要影响，分类器的质量很大程度上由特征属性、特征属性划分及训练样本质量决定。

第二阶段——分类器训练阶段，这个阶段的任务就是生成分类器，主要工作是计算每个类别在训练样本中的出现频率及每个特征属性划分对每个类别的条件概率估计，并将结果记录。其输入是特征属性和训练样本，输出是分类器。这一阶段是机械性阶段，根据前面讨论的公式可以由程序自动计算完成。

第三阶段——应用阶段。这个阶段的任务是使用分类器对待分类项进行分类，其输入是分类器和待分类项，输出是待分类项与类别的映射关系。这一阶段也是机械性阶段，由程序完成。

三、例子

某个医院早上收了六个门诊病人，如下表。