目录贝叶斯模型1.判别模型与生成模型2. 基于最小风险贝叶斯决策理论3. 高斯判别分析模型(Gaussian Discriminant Analysis)3.1 高斯判别分析（GDA）与LR的关系4. 朴素贝叶斯模型(Gaussian Discriminant Analysis)4.1 后验概率最大化的含义4.2 学习与分类算法4.3 拉普拉斯平滑5. EM算法（Expectation-Maxim
朴素贝叶斯分类器朴素贝叶斯分类器的训练速度比线性模型更快。这种高效率所付出的代价是，朴素贝叶斯模型的泛化能力要比线性分类器（如 LogisticRegression 和 LinearSVC）稍差。朴素贝叶斯模型如此高效的原因在于，它通过单独查看每个特征来学习参数，并从每个特征中收集简单的类别统计数据。scikit-learn 中实现了三种朴素贝叶斯分类器：GaussianNB、BernoulliN
转载
2024-09-21 09:06:43
14阅读
本节内容： 1、混合高斯模型；文本聚类） 3、结合EM算法，讨论因子分析算法； 4、高斯分布的有用性质。 混合高斯模型将一般化的EM算法流程（下载笔记）应用到混合高斯模型因子
转载
2024-04-11 21:01:46
30阅读
一， 回归大家庭1. 线性回归1.1 线性回归的概念：线性回归就是利用线性回归方程的最小二乘函数对一个或多个自变量和因变量之间的关系进行建模的方法，通俗的说就是通过大量样本的训练，通过有监督的学习找到一个X到Y的映射关系，利用该关系对未知数据进行预测，经常用于房价预测等方面，之所以把其分类到回归问题是因为我们所预测的Y值是连续值。1.2 线性回归的数学形式表达n 为 样本总数 X 为 样本特征 Y
转载
2024-03-15 05:44:49
95阅读
朴素贝叶斯是一个很不错的分类器，在使用朴素贝叶斯分类器划分邮件有关于朴素贝叶斯的简单介绍。若一个样本有n个特征，分别用x1,x2,…,xn表示，将其划分到类yk的可能性P(yk|x1,x2,…,xn)为：P(yk|x1,x2,…,xn)=P(yk)∏ni=1P(xi|yk)上式中等号右侧的各个值可以通过训练得到。根据上面的公式可以求的某个数据属于各个分类的可能性（这些可能性之和不一定是1），该数据
转载
2024-07-08 10:13:28
29阅读
朴素贝叶斯：基于贝叶斯定理，朴素贝叶斯方法是用于分类的概率模型。当数据集的维数很高时，它们非常有用。贝叶斯定理：
P（A | B ）=P（B | A ）* P（一）P（B ）
使用贝叶斯定理，假设事件B已经发生，我们可以找到事件A发生的概率。在这里，我们认为事件A和事件B是彼此独立的&
转载
2024-07-25 16:46:37
23阅读
一、贝叶斯定理数学基础 我们都知道条件概率的数学公式形式为 即B发生的条件下A发生的概率等于A和B同时发生的概率除以B发生的概率。 根据此公式变换，得到贝叶斯公式： 即贝叶斯定律是关于随机事件A和B的条件概率（或边缘概率）的一则定律。通常，事件A在事件B发生的条件溪的概率，与事件B在事件A的条件下的概率是不一样的，而贝叶斯定律就是描述二者之间的关系的。 更进一步将贝叶斯公式
转载
2023-11-29 13:15:04
70阅读
贝叶斯公式P(A|B)：在条件B发生的情况下，A发生的概率。公式： 或者画一个图就很好理解 下面将记为P(AB)因为P(AB)=P(A|B)*p(B)，P(BA)=P(B|A)*P(A)，P(AB)=P(BA)，所以有：P(A|B)*p(B)=P(B|A)*P(A)最后利用全改了公式可推导出下面的形式，参考这里的第5和第6点将P(A)进行替换：这就是贝叶斯公式极大似然估计：概率
转载
2023-11-21 16:00:27
96阅读
import numpy as npimport matplotlib.pyplot as pltfrom sklearn.datasets import load_irisfrom sklearn import treefrom sklearn.model_selection impo
原创
2022-11-10 14:18:03
261阅读
总结贝叶斯算法我们希望模型在分类的时候不是直接返回分类，而是返回属于某个分类的概率特征与特征之间条件独立(特征之间无任何关联)，就可以使用贝叶斯算法，朴素指的就是条件独立朴素贝叶斯模型常用于文本分类在sk-learn中提供了三种不同类型的贝叶斯模型算法高斯模型(基于高斯分布实现分类概率的计算) - 连续型特征：from sklearn.naive_bayes import GaussianNB
公
转载
2023-12-05 20:23:39
250阅读
朴素贝叶斯介绍回顾高斯判别分析朴素贝叶斯朴素贝叶斯法模型朴素贝叶斯法的假设朴素贝叶斯法的参数估计极大似然估计贝叶斯估计 回顾高斯判别分析生成模型，使用较强的假设。 对于两类样本，其服从伯努利分布，而对每个类中的样本，假定都服从高斯分布。朴素贝叶斯朴素贝叶斯是生成模型，和高斯判别分析类似，主要针对最大化进行建模，高斯判别分析有两个假设：对于两类样本，其服从伯努利分布，而对每个类中的样本，假定都服从
贝叶斯学习小结朴素贝叶斯和贝叶斯信念网络学习，知识点以及个人一些理解的小结。概率论只不过是把常识用数学公式表达了出来。 ——拉普拉斯1.本文思路分析（1）基本概率公式：条件概率，全概率，贝叶斯定理（2）朴素贝叶斯算法：极大似然估计，判定准则，拉普拉斯平滑（3）半朴素贝叶斯（4）贝叶斯信念网络：结构学习，参数学习2 基本概率公式（1）条件概率：百度百科：条件概率\[P(A|B) = \frac{P(
关于deep Learningbook第五章120页5.71和5.72的有关解释： 这个问题的研究思路是我们拿到一组数据后数据本身中包含着概率密度函数，但是这个函数的形式我们是不清楚的，所以要使用概率密度分布的方法从数据中估算出来，在这个过程需要求得的两个是：概率密度函数的形式（高斯分布、瑞利分布）和概率密度函数的参数（均值、方差）。 求解首先要知道数据本身是连续还是离散的，也就是要把数据是否
转载
2024-07-08 10:05:13
56阅读
问题朴素贝叶斯求解朴素贝叶斯公式：求解思想：即求先验概率与条件概率乘积的最大值求解注意： 本人求解过程中忘记了 Laplace 平滑 (⊙︿⊙)，但好在预测值里面没有学历为博士的一项，所以不平滑也不影响预测，但这样是不规范的。代码分析1 读取数据 2 数据切片，转换（将字符型数据编码） 3 划分训练集和测试集 4 导入 sklearn 贝叶斯方法，拟合 5 预测输入值#导入数据 read_csv
转载
2023-08-31 13:46:38
94阅读
（参考资料：菜菜的sklearn）重要参数，属性及接口criterion 1)输入"mse"使用均方误差mean squared error(MSE)，父节点和叶子节点之间的均方误差的差额将被用来作为特征选择的标准，这种方法通过使用叶子节点的均值来最小化L2损失 。 2）输入“friedman_mse”使用费尔德曼均方误差，这种指标使用弗里德曼针对潜在分枝中的问题改进后的均方误差 3）输入"mae
转载
2024-05-30 21:06:12
42阅读
一、最大似然估计假设有3个数据点，产生这3个数据点的过程可以通过高斯分布表达。这三个点分别是9、9.5、11。我们如何计算高斯分布的参数μ 、σ的最大似然估计？我们想要计算的是观测到所有数据的全概率，即所有观测到的数据点的联合概率分布。为此我们需要计算一些条件概率，这可能会很困难。所以这里我们将做出我们的第一个假设。假设每个数据点的生成和其他点是独立的。这一假设让数学容易很多。如果事件（即生成数据
机器学习（五）：朴素贝叶斯算法（非连续变量实战）在机器学习（五）：朴素贝叶斯算法（非连续变量）中已经介绍了主要的代码，接下来，我们就用该代码来进行实战操作。实战：朴素贝叶斯之过滤垃圾邮件在上篇文章那个简单的例子中，我们引入了字符串列表。使用朴素贝叶斯解决一些现实生活中的问题时，需要先从文本内容得到字符串列表，然后生成词向量。下面这个例子中，我们将了解朴素贝叶斯的一个最著名的应用：电子邮件垃圾过滤。
朴素贝叶斯算法（1）超详细的算法介绍朴素贝叶斯算法（2）案例实现github代码地址引言关于朴素贝叶斯算法的推导过程在朴素贝叶斯算法（1）超详细的算法介绍中详细说明了，这一篇文章用几个案例来深入了解下贝叶斯算法在三个模型中（高斯模型、多项式模型、伯努利模型）的运用。案例一：多项式模型特征属性是症状和职业，类别是疾病（包括感冒，过敏、脑震荡） 某个医院早上收了六个门诊病人，如下表：症状职业疾病打喷嚏
转载
2024-01-20 06:12:05
127阅读
朴素贝叶斯（Naive Bayes）= Naive + Bayes 。（特征条件独立 + Bayes定理）的实现。零、贝叶斯定理（Bayes' theorem）所谓的贝叶斯方法源于他生前为解决一个“逆概”问题写的一篇文章，而这篇文章是在他死后才由他的一位朋友发表出来的。在贝叶斯写这篇文章之前，人们已经能够计算“正向概率”，如“假设袋子里面有N个白球，M个黑球，你伸手进去摸一把，摸出黑球
转载
2024-06-14 10:15:38
81阅读
点赞
贝叶斯网络是一种概率网络，它是基于概率推理的图形化网络，而贝叶斯公式则是这个概率网络的基础。贝叶斯网络是基于概率推理的数学模型,所谓概率推理就是通过一些变量的信息来获取其他的概率信息的过程，基于概率推理的贝叶斯网络(Bayesian network)是为了解决不定性和不完整性问题而提出的，它对于解决复杂设备不确定性和关联性引起的故障有很的优势，在多个领域中获得广泛应用。 贝叶斯网
转载
2023-05-18 10:11:22
179阅读
