什么是分类


分类是一项生存的基本技能,例如,动物对天敌和猎物进行分类。


分类是一种有监督的学习,从数据中产生模型,输入一组样本特征后,能很好地将其归为某个类别。(包括二分类和多分类)
《数据挖掘:理论与算法》学习笔记(四)—贝叶斯分类_二分类

贝叶斯定理

如下所示,用于计算B事件发生的情况下A发生的概率
《数据挖掘:理论与算法》学习笔记(四)—贝叶斯分类_二分类_02

朴素贝叶斯


朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法


朴素贝叶斯分类器基于一个简单的假定:给定目标值时属性之间相互条件独立。
《数据挖掘:理论与算法》学习笔记(四)—贝叶斯分类_参考文献_03
理论上我们应该用第三个公式:即联合概率分布,但实际中我们采用的是最后一个边缘概率乘积的方式。

条件独立的概念
《数据挖掘:理论与算法》学习笔记(四)—贝叶斯分类_二分类_04
例子:男性更容易得癌症吗?
《数据挖掘:理论与算法》学习笔记(四)—贝叶斯分类_参考文献_05
这是条件独立的一个经典例子,实际上性别没什么关系。

拉普拉斯平滑
加入拉普拉斯平滑,避免了出现概率为0的情况,又保证了每个值都在0到1的范围内,又保证了最终和为1的概率性质
《数据挖掘:理论与算法》学习笔记(四)—贝叶斯分类_参考文献_06

参考文献:清华大学-数据挖掘:理论与算法(国家级精品课)