1.贝叶斯定理


(1)首先假定一个属性值在给定类的影响下独立于其他属性值,即具有独立性。比如酒店具有:价格、环境、地理位置等三个属性。而每个属性是独立的

(2)我们需要了解的是后验概率(也即是条件概率)和先验概率:


后验概率(条件概率)

朴素贝叶斯分类_贝叶斯分类

,在发生了X的条件下,发生H先验概率

朴素贝叶斯分类_条件概率_02


(3)贝叶斯定理

朴素贝叶斯分类_后验概率_03


2.朴素贝叶斯分类

(1)设D是训练集和类标号的集合。(也即是训练集+类标号),每个元组用一个n维属性向量

朴素贝叶斯分类_条件概率_04

(2)假定有m个类别

朴素贝叶斯分类_后验概率_05

。分类法将预测X属于具有最高后验概率的类。也即是说,朴素贝叶斯预测X属于

朴素贝叶斯分类_朴素贝叶斯_06

类时,有

朴素贝叶斯分类_朴素贝叶斯_07

(其中1<=j<=m,j不等于i)

取最大后验概率:(就可以证明X属于

朴素贝叶斯分类_朴素贝叶斯_06

朴素贝叶斯分类_机器学习_09

(2)判断一个X属于什么类别时,P(X)是常数,所以只要比较

朴素贝叶斯分类_朴素贝叶斯_10

最大即可。

朴素贝叶斯分类_条件概率_11

,也即是

朴素贝叶斯分类_朴素贝叶斯_06

类所占有的数目。(3)做类条件独立的假定,求出

朴素贝叶斯分类_条件概率_13


朴素贝叶斯分类_朴素贝叶斯_14

其中

朴素贝叶斯分类_后验概率_15

表示在类

朴素贝叶斯分类_朴素贝叶斯_06

中,x1所占的数目有多少。

2.例子


朴素贝叶斯分类_机器学习_17


朴素贝叶斯分类_朴素贝叶斯_18

朴素贝叶斯分类_朴素贝叶斯_19

朴素贝叶斯分类_机器学习_20

朴素贝叶斯分类_机器学习_21

朴素贝叶斯分类_条件概率_22