不同于PCA方差最大化理论，LDA算法的思想是将数据投影到低维空间之后，使得同一类数据尽可能的紧凑，不同类的数据尽可能分散。它的数据集的每个样本是有类别输出的，投影后类间方差最大，类内方差最小LDA需要数据满足如下两个假设：原始数据根据样本均值进行分类不同类的数据拥有相同的协方差矩阵一般来说第2条很难满足，所以在实际使用中如果原始数据主要是根据均值来划分的，此时LDA降维效果很好，但是PCA效果就
转载
2024-07-05 21:39:12
78阅读
1、sklearn数据集1.1 数据集划分机器学习一般的数据集会划分为两个部分 训练数据：用于训练，构建模型 测试数据：在模型检验时使用，用来评估模型是否有效1.1.1 sklearn数据集划分APIsklearn.model_selection.train_test_split功能将数组或矩阵拆分为随机的训练子集和测试子集 。输入和输出输入：1、arrays: 具有相同长度的可索引序列，x-y的
LDA
LDA 是一种经典的线性学习方法。在二分类问题上，其目标是找到一个投影方向，使得按照此投影方向投影后，同类样例的投影点尽可能近，而非同类样例的样本点尽可能远。在多分类问题上（设类别数为 C），同样可以按照上述思想进行推导。值得注意的是，在二分类问题上，投影后的样本点的维度为 1， 而在多分类问题上，至多可以找到 C-1 个正交的投影方向，即投影后的样本点的维度可以为 [1,C-1],这可能
转载
2024-05-19 10:21:27
27阅读
线性判别法则（Linear Discriminant Analysis)LDA是一种监督学习。也称为Fisher's linear discriminant。LDA的原理是，将带上标签的数据（点），通过投影的方法，投影到维度更低的空间中，使得投影后的点，会形成按类别区分，一簇一簇的情况，相同类别的点，将会在投影后的空间中更接近。要说明白LDA，首先得弄明白线性分类器 因为LDA是一种线性分类器。对
转载
2024-04-01 12:03:11
167阅读
LDA整体流程先定义一些字母的含义：文档集合D，topic集合TD中每个文档d看作一个单词序列< w1,w2,…,wn >，wi表示第i个单词，设d有n个单词。（LDA里面称之为word bag，实际上每个单词的出现位置对LDA算法无影响）D中涉及的所有不同单词组成一个大集合VOCABULARY（简称VOC）LDA以文档集合D作为输入（会有切词，去停用词，取词干等常见的预处理，略去不表
转载
2024-01-08 18:18:29
190阅读
论文看了前三个section, 然后搜资料发现了些不错的。------------------------------------------------------------------------------------------------------------------------------------------一、预备知识：  
机器学习常见的分类器算法有:逻辑回归LR 支持向量机SVM 决策树DT 随机深林RF 贝叶斯算法Bayes起初设计的目的多是针对二分类问题，而我们在实际应用中总会遇到多分类问题,应该如何实现.常见的几种方法：（1）直接法，直接在目标函数上进行修改，将多个分类面的参数求解合并到一个最优化问题中，通过求解该最优化问题“一次性”实现多类分类。这种方法看似简单，但其计算复杂度比较高，实现起来比较困难，只适
转载
2023-12-16 12:00:35
104阅读
根据《统计学习方法》第四章朴素贝叶斯算法流程写成，引入贝叶斯估计（平滑处理)。本例旨在疏通算法流程，理解算法思想，故简化复杂度，只考虑离散型数据集。如果要处理连续型数据，可以考虑将利用“桶”把连续型数据转换成离散型，或者假设连续型数据服从某分布，计算其概率密度来代替贝叶斯估计。《机器学习实战》的朴素贝叶斯算法，是针对文本处理（垃圾邮件过滤）的算法，是二元分类（y=0或y=1），且特征的取值也是二元
转载
2024-07-08 10:17:21
68阅读
原理SVM被提出于1964年，在二十世纪90年代后得到快速发展并衍生出一系列改进和扩展算法，在人像识别、文本分类等模式识别（pattern recognition）问题中有得到应用。支持向量机（Support Vector Machine, SVM）是一类按监督学习（supervised learning） 方式对数据进行二元分类的广义线性分类器（generalized linear classi
转载
2023-12-07 01:29:06
106阅读
Logistic回归的两种方法：梯度下降法和优化函数逻辑回归是一种非常流行的机器学习技术。当因变量是分类的时，我们使用逻辑回归。本文将重点介绍针对多类分类问题的逻辑回归的实现。我假设您已经知道如何使用Logistic回归实现二进制分类。如果您尚未使用Logistic回归进行二进制分类，那么建议您先阅读本文，然后再深入研究本文。因为多类分类是建立在二进制分类之上的。您将在本文中学习二进制分类的概念，
转载
2023-10-08 18:46:13
84阅读
原理： 线性判别分析（Linear Discriminant Analysis，简称LDA）是一种经典的监督学习的数据降维方法，也叫做Fisher线性判别（Fisher Linear Discriminant，FLD），是模式识别的经典算法 ，它是在1996年由Belhumeur引入模式识别
说在前面 这篇博客主要介绍怎么解决多分类问题？下面我们解决多分类问题的时候会用到 Softmax Classifier，下面我们就来看看 Softmax 分类器怎么解决多分类问题的以及我们如何实现。 上一篇博客我们对糖尿病数据集进行了二分类，我们最后输出的是 的概率和 但实际上，我们还介绍了一些其他数据集，比如 MNIST（手写数字），这个数据集的分类一共有 10 类（分
其实这个比赛早在19年的时候就结束，比赛名为《Understanding Clouds from Satellite Images》，原来的任务其实不仅要识别出来类型还要能够分割出来具体的区域，这里我只是基于这个卫星云数据集来实践多标签分类模型，所以分割就留给以后有时间在做了。 官方地址在这里
转载
2024-02-23 10:44:43
15阅读
Pytorch学习笔记09——多分类问题在上一篇文章的糖尿病数据集当中，输出只有0和1俩种可能值。 P(y=0) = 1-P(y=1) 如何实现多分类问题？ 经过最后一步softmax后得到10个预测值，如果我们仍然用二分类的思维去想这个问题： y1^hat属于第一类的概率是0.8， 不属于第一类的概率是0.2. y2^hat属于第二类的概率是0.9， 不属于第二类的概率是0.1. y3^hat属
转载
2023-09-02 07:29:01
224阅读
本文不涉及细节理论，只做必要性的介绍，侧重代码实现。线性模型-多分类问题的理论分析只有二分类是完全不够用的，因此需要其他的算法来解决多分类问题。多分类分为OvO(One vs One)和OvR(One vs Rest).OvO:一对一,例如n个分类,两两一组使用二分类,最后选出二分类出来最多的情况,需要n(n-1)/2个分类器OvR:一对多,例如n个分类,一次性比较这n个分类中的概率,找出概率最大
转载
2023-08-04 20:41:56
372阅读
# Python多分类实现流程
## 1. 理解多分类问题
在机器学习领域中，多分类指的是将输入的样本分到多个不同的类别中。在Python中，我们可以使用不同的算法和库来实现多分类任务。下面是实现多分类的大致流程：
```mermaid
sequenceDiagram
participant 开发者
participant 小白
开发者 ->> 小白: 解释多分类问题
原创
2023-10-09 04:21:23
92阅读
文章目录0 写在前面1 softmax函数2 数据预处理2.1 scatter（）函数的cmap属性3 激活函数4 模型搭建5 完整代码6 输出分析6.1 目标6.2 运行过程7 总结 0 写在前面二分类问题是多分类问题的一种特殊情况，区别在于多分类用softmax代替sigmoid函数。softmax函数将所有分类的分数值转化为概率，且各概率的和为1。1 softmax函数softmax函数首
转载
2023-10-04 07:59:38
145阅读
基于SMO算法的SVM分类器--python实现第一部分 Python代码第二部分 1000条二维数据测试 完整代码及数据见：https://github.com/ledetest/SMO 第一部分 Python代码数据格式与libsvm官网数据一致 数据格式： [label] [index]:[value] … 运行参数说明：train_datafile_name：训练数据路径 Test_d
转载
2024-07-31 13:29:05
164阅读
Pytorch 搭建自己的Unet语义分割平台 文章目录Pytorch 搭建自己的Unet语义分割平台unet模型1.主干特征提取2.加强特征提取3.特征预测4.各层卷积输出5.总结 unet模型1.主干特征提取Unet是一个优秀的语义分割模型，其主要执行过程与其它语义分割模型类似。Unet可以分为三个部分，如下图所示：第一部分是主干特征提取部分，我们可以利用主干部分获得一个又一个的特征层，Une
转载
2024-04-11 18:35:39
353阅读
第9讲：多分类问题（上）用softmax 解决多分类问题用pytorch 实现多分类问题1.softmaxsoftmax:让线形层的输出结果（进行softmax前的input）有负数，通过幂指变换，得到正数。所有类的概率求和为1。2.softmax如何做到上面的操作：对每一L层的输出进行幂指运算，使其>0所有K个分类的输出幂指再求和，结果=1计算各分类的分布example:输入向量的每个元素
转载
2023-07-05 14:00:16
291阅读
