文章目录什么是线性判别分析线性判别分析的作用基本思想如何将点投影到直线上二分类线性判别分析如何刻画类别的中心点之间的距离如何刻画投影后相同类别的散乱程度如何用式1.9与式1.6刻画LDA的两个关键点 什么是线性判别分析引自周志华老师的《机器学习》线性判别分析是一种经典的线性学习方法，给定训练样例集，设法将样例投影到一条直线上，使得同类样例的投影点尽可能的近，异类样例的投影点尽可能原，在对新样本进
这里，我们讨论特征选择和特征提取，前者选取重要的特征子集，后者由原始输入形成较少的新特征，理想情况下，无论是分类还是回归，我们不应该将特征选择或特征提取作为一个单独的进程，分类或者回归方法应该能够利用任何必要的特征，而丢弃不相关的特征。但是，考虑到算法存储量和时间的复杂度，或者输入不必要的特征等原因，还是需要降维。较简单的模型在小数据上更为鲁棒，有小方差，模型的变化更依赖于样本的特殊性，包括噪声，
理论，告诉一个名字，来猜猜是男是女，多多少少有点算命的味道。此命题是一种有监督的学习方法，从标注好的训练数据学习到一个预测模型，然后对未标注的数据进行预测。1、首先，有监督的学习方法，就需要这样一批标注数据：大量的人名，以及其性别。训练数据集参考 SofaSofa-数据科学社区 及其它网页爬取的数据： 2、对下载的数据进行清洗及特征提取，其流程如下：根据姓氏辞典把姓氏去掉，留下不带姓氏
转载
2023-07-11 16:40:12
103阅读
判别分析（distinguish analysis）是根据所研究的个体的观测指标来推断该个体所属 类型的一种统计方法，在自然科学和社会科学的研究中经常会碰到这种统计问题。例如在地质找矿中我们要根据某异常点的地质结构、化探和物探的各项指标来判断该异常点 属于哪一种矿化类型；医生要根据某人的各项化验指标的结果来判断该人属于什么病 症；调查了某地区的土地生产率、劳动生产率、人均收入、费用水平、农村工业比
用bayes公式进行机器学习的经典案例从本科时候（大约9年前）刚接触Bayes公式，只知道P(A|B)×P(B) = P(AB) = P(B|A)×P(A)到硕士期间，机器学习课上对P(B|A)P(A)冠以“先验概率”，而不知“先验”二字到底从何而来。再到工作了几年之后重回校园，重新拾起对求知的热情，重新用向小白讲述Bayes公式的态度，讲述自己对它最朴素的理解。尽量让像我一样刚入门的小白同学们，
转载
2024-04-06 08:38:55
59阅读
者[印度] 拉格哈夫·巴利（Raghav Bali）迪潘简·撒卡尔（Dipanjan Sarkar） 目 录译者序前言关于作者关于审稿人第1章 开始使用R语言和机器学习 1.1 探究R的基本内容 1.2 R的数据结构 1.3 使用函数 1.4 控制代码流 1.5 高级结构 1.6 进一步使用R 1.7 机器学习基础 1.8 总结 第2章 让我们进行机器学习 2.1 理解机器学习 2
最大似然判别法 Bayes公式判别法
转载
2016-08-27 17:41:00
204阅读
2评论
线性判别分析（LDA）投影降维的思想，以类内小、类间大（类似于软件工程中高内聚低耦合思想）的目标实现了对数据集进行分类的效果。LDA的原始思想非常简单，在数据集平面（假如二维数据）上，找到一条直线，使所有数据点在该直线的投影点能够被一个中心点完全分离开且同类数据投影点尽可能集中，不同类数据投影点尽可能远离；这样就达到了分类的目的，可见，LDA还可以用于数据降维处理，但其降维性能有限，仅能从K维降至
转载
2024-05-29 10:54:55
43阅读
判别分析首先了解了一下判别分析。 判别分析(Discriminant Analysis)是多元统计中用于判别样本所属类型的一种方法。通过训练已知分类类别的样本集来建立判别准则，然后用于判别新的预测样本的类别。常用的判别分析方法有：1.最大似然法：其基本思想为，通过训练样本集求出各种组合情况下该样本被分为任何一类的概率，确定参数。对于新样本的类别判别，只需要计算它被分到每一类中去的条件概率（似然值
最近，开始学习和概率模型相关的智能算法。这类算法能解决的问题很多，包括模式识别（分类问题）、预测、决策等等。是非常具有实际应用价值的一类算法。
当然，这类算法体系也非常的庞大，尤其是其中涉及高深的数学原理的方法众多。但是，显然，我们要讨论的问题算法并不属于此类（很大原因是因为我概率挂了）。我们今天讨论的重点将放在：如果一个概率我无法求得，那么我们有什么其他办法获得。
首先，我们来考虑著名的“蒙特卡
最近做了点机器学习的东西，老师让用比较贝叶斯分离器，那就从最简单也是比较经典的朴素贝叶斯开始吧。在R语言中是e1071包中的一个函数naiveBayes实现了朴素贝叶斯 这个函数有几个参数 慢慢解释首先这个包的描述是：利用Bayes定理，计算出一个分类类变量的条件后验概率。这里是朴素贝叶斯所以也就假定每条数据的特征值的属性是独立无关的，不过有些论文也指出弱相关的时候也可以很好的分类不影响naive
转载
2023-08-25 16:40:14
207阅读
这里我们就对另外一种经典的降维方法线性判别分析（Linear Discriminant Analysis, 以下简称LDA）做一个总结。LDA在模式识别领域（比如人脸识别，舰艇识别等图形图像识别领域）中有非常广泛的应用，因此我们有必要了解下它的算法原理。 在学习LDA之前，有必要将其自然语言处理领域的LDA区别开来，在自然语言处理领域， LDA是隐含狄利克雷分布（Latent Dirichlet
转载
2024-05-08 22:19:57
18阅读
#判别分析 用以判别个体所属群体的一种统计方法 判别分析重点是两类群体的判别方法
#主要判别分析方法 有距离判别 贝叶斯判别 费歇判别法
1、关键点：
#贝叶斯判别 贝叶斯判别式假定对研究对象已有一定的认识 这种认识常用先验概率来描述
#当取得样本后 就可以用样本来修正已经有的先验概率分布 得出后验概率分布
#然后通过后验概率分布 进行各种统计推断
#实际上就是使平均误判损失（误判概率与误判损
转载
2023-12-26 14:43:09
297阅读
文章目录零、本节目标一、线性回归的基本思想例题二、线性判别函数基本概念表达式决策规则三、Fisher线性判别分析方法（没怎么说）简述Fisher准则函数Fisher线性判别四、感知器基本原理（没怎么说）梯度下降算法（老师没强调）算法原理五、最优分类超平面（重点强调了模型，考了）六、线性支持向量机（没怎么说）补充：线性分类器的三种最优准则（没怎么说） 零、本节目标一、线性回归的基本思想用训练样本集
转载
2024-07-09 20:41:31
96阅读
判别与聚类的比较：聚类分析和判别分析有相似的作用，都是起到分类的作用。判别分析是已知分类然后总结出判别规则，是一种有指导的学习；聚类分析则是有了一批样本，不知道它们的分类，甚至连分成几类也不知道，希望用某种方法把观测进行合理的分类，使得同一类的观测比较接近，不同类的观测相差较多，这是无指导的学习。 所以，聚类分析依赖于对观测间的接近程度（距离）或相似程
转载
2023-11-09 11:04:00
104阅读
目录思考题4）原题目：贝叶斯判别的基本思想是什么？练习题第3题:以舒张期血压和讯将胆固醇含量预测被检查者是否患冠心病，测得15名冠心病人和16名健康人的舒张压。X1及血浆胆固醇含量X2，结果如表6-4。练习题第4题:对于A股市场2009年陷入财务困境的上市公司（ST公司），我们收集了8间ST公司陷入财务困境前的一年（2008年）的财务数据，同时对于财务良好的公司（非ST公司），收集了同一时期8家非
转载
2023-07-07 14:35:33
1260阅读
1. 非线性判别函数本章介绍广义线判别函数与核函数，并分析他们的不同。2. 广义线性判别函数对于非线性问题，我们依旧可以使用线性分类器进行求解。广义线性判别函数增加了特征的高次项，将低维特征转化为高维特征。将低维线性不可分问题转化为高维的线性可分问题，并学习到高维空间下的线性分类器，该分类器其实等价于低维的非线性分类器。以经典的异或问题为例（线性不可分）：对于该问题的二维输入特征，引入高维特征\(
转载
2024-03-22 20:33:08
85阅读
对于分类算法，我们可以考虑将原始数据投影到1维空间，然后再进行分类。本文主要讨论两种维度降低分类算法，一种是无修正降维分类算法，另外一种便是本文主要介绍的Fisher（修正降维分类算法）判别法，至于两个算法的名称由来是我根据自己的理解给出的，后面会给出相关的解释。 一、无修正降维分类 首先，我们简单的考
一、定性数据描述的数值方法1.某超市为研究不同类型饮料的市场销售情况，随机地调取了50名顾客购买饮料的数据，其性别以及购买饮料的类型如表所示。试计算购买人群（男、女）以及不同种类饮料的频数。 顾客性别及购买的饮料类型
首先将数据存放在drink.data中，然后用scan()函数将数据读出，再使用table()计算出频数.Lst<-scan("drink.data",what=lis
转载
2023-09-19 12:22:28
298阅读
一、判别分析通过一个已知类别的“训练样本”来建立判别准则，并通过预测变量来为未知类别的数据进行分类。根据判别的模型分为线性判别和非线性判别，线性判别中根据判别准则又分为Fisher判别，Bayes判别和距离判别。本文介绍最基础的Fisher判别，又称线性判别，R中可用MASS包内的lda()函数进行。 注：线性判别的基础假设是数据服从正态分布1
转载
2023-06-20 15:41:37
2527阅读
