1.简介 在另一篇文章中讲了利用PCA对图片数据进行降维，这次介绍一下另一种降维方法——LDA(Linear Discriminant Analysis)，即线性判别分析。跟PCA不同，LDA是一种supervised的降维方法。即我们对数据降维时需要数据的label。 LDA的原理是要找到一个投影面，使得投影后相
转载
2024-06-23 06:49:29
111阅读
降维目的：样本数据为高维数据时，对数据进行降维操作，避免模型出现过拟合。1.过拟合含义：训练集误差小，验证集误差大。过拟合三种解决方案：1）增加数据集；2）正则化； 3）降维。 2.高维灾难：具有高维度特征的数据易导致高维灾难。高维灾难的几何角度解释： 高维灾难含义：高维数据分布具有稀疏性；不容易根据特征对数据进行分类. 3.降维降维分类：1）直接降维（特征选择（lasso））
转载
2024-05-17 08:50:02
35阅读
原理： 线性判别分析（Linear Discriminant Analysis，简称LDA）是一种经典的监督学习的数据降维方法，也叫做Fisher线性判别（Fisher Linear Discriminant，FLD），是模式识别的经典算法 ，它是在1996年由Belhumeur引入模式识别
目录例子LDA降维在前几篇的文章中，大管提到了PCA降维，有小伙伴私信说在实际情况中，效果不太好。那大管今天就和大家聊一聊另一种降维的方法线性判别分析 (LDA)。它目前也是机器学习领域中比较经典而且又热门的一种算法。 还记得在PCA中是怎样做的吗？简单来说，是将数据映射到方差比较大的方向上，最后用数学公式推导出矩阵的前TopN的特征向量，这里的方差可以理解为
转载
2024-02-21 16:20:43
85阅读
文章目录线性判别分析（LDA）LDA思想总结图解LDA核心思想二类LDA算法原理LDA算法流程总结LDA和PCA区别LDA优缺点主成分分析（PCA）主成分分析（PCA）思想总结图解PCA核心思想PCA算法推理PCA算法流程总结PCA算法主要优缺点降维的必要性及目的KPCA与PCA的区别 线性判别分析（LDA）LDA思想总结 线性判别分析（Linear Discriminant Analysis，
转载
2024-05-24 21:00:21
71阅读
在主成分分析（PCA）原理总结中，我们对降维算法PCA做了总结。这里我们就对另外一种经典的降维方法线性判别分析（Linear Discriminant Analysis, 以下简称LDA）做一个总结。LDA在模式识别领域（比如人脸识别，舰艇识别等图形图像识别领域）中有非常广泛的应用，因此我们有必要了解下它的算法原理。 在学习LDA之前，有必要将其自然语言处理领域的LDA区别开来，在自
转载
2024-03-28 22:22:37
42阅读
线性判别分析
LDA原理总结</h1>
<div class="clear"></div>
<div class="postBody"> 在主成分分析（PCA）原理总结中，我们对
降维算法PCA做了总结。这里我们就对另外一种经典的
降维方法线性判别分析（Linear Discriminant Analysis, 以
转载
2023-10-04 23:06:51
104阅读
1.降维原理的概述由于特征数据过于庞大，需要对数据进行降维处理，即通过某种映射方法将原始高维空间中的数据点映射到低维度的空间中（减少特征的个数），比较经典的是LDA线性判别分析（Linear Discriminant Analysis）和PCA主成分分析。LDA线性判别分析也叫作Fisher 线性判别（FLD）(有监督问题)，最初用于机器学习的分类任务，更多用于降维。降维不仅要压缩数据
转载
2024-05-09 22:18:18
68阅读
1.什么是LDA？LDA线性判别分析也是一种经典的降维方法，LDA是一种监督学习的降维技术，也就是说它的数据集的每个样本是有类别输出的。这点和PCA不同。PCA是不考虑样本类别输出的无监督降维技术。LDA的思想可以用一句话概括，就是“*投影后类内方差最小，类间方差最大*”。什么意思呢？ 我们要将数据在低维度上进行投影，投影后希望每一种类别数据的投影点尽可能的接近，而不同类别的数据的类别中心之间的距
转载
2023-05-18 15:32:20
247阅读
点赞
1.PCA主成分分析PCA是不考虑样本类别输出的无监督降维技术，实现的是高维数据映射到低维的降维。PCA原理这个介绍的不错：线性代数矩阵性质背景：特征值表示的是矩阵在特征值对应的特征向量方向上的伸缩大小；步骤：1）组成数据矩阵def get_date():
m_vec = np.array([0, 0, 0])
cov_vec = np.array([[1, 0, 0], [0,
转载
2024-05-20 10:44:14
0阅读
若数据集特征十分庞大，可能会使计算任务变得繁重，在数据特征有问题时，可能会对结果造成不利影响。 因此可以用降维算法，通过某种映射方法，将原始高维空间中的数据点映射到低纬度的空间中。这里介绍LDA（有监督学习算法）。线性判别分析（Linear Discriminant Analysis,LDA），也叫作Fisher线性判别，最开始用于分类任务，但由于其对数据特征进行了降维投影，成为一种经典的降维方法
转载
2024-04-24 13:35:33
67阅读
简介降维是由一些问题带来的：可以缓解由维度诅咒(高维)带来的问题；可以用来压缩数据，将损失数据最小化；可以将高维数据降到低维进行可视化。主成分分析(Principal components analysis，简称PCA)是最重要的降维方法之一。一般我们提到降维最容易想到的算法就是PCA，下面我们就对PCA的原理做一个总结。核心思想PCA降维的核心思想是：一个矩阵的主成分是它的协方差矩阵的特征向量，
转载
2023-10-04 20:36:46
124阅读
为什么要用LDA前面的博客提到PCA是常用的有效的数据降维的方法，与之相同的是LDA也是一种将数据降维的方法。PCA已经是一种表现很好的数据降维的方法，那为什么还要有LDA呢？下面我们就来回答这个问题？ PCA是一种无监督的数据降维方法，与之不同的是LDA是一种有监督的数据降维方法。我们知道即使在训练样本上，我们提供了类别标签，在使用PCA模型的时候，我们是不利用类别标签的，而LDA在
转载
2023-10-26 22:01:38
82阅读
特征降维方法包括：Lasso，PCA，小波分析，LDA(Linear Discriminant Analysis线性判别分析)，LDA(Latent Dirichlet Allocation潜在狄利克雷分配)，奇异值分解SVD，拉普拉斯特征映射，深度学习SparseAutoEncoder，局部线性嵌入LLE，等距映射Isomap，word2vec。1. LASSO通过参数缩减达到降维的目的。LAS
转载
2024-05-09 12:41:25
53阅读
前面写的PCA，LE，LDA，LLE都是以前就比较熟悉的东西，从这篇开始写的都是之前不熟悉的甚至都不知道名字的算法，然而都还很经典。疫情期间在家里看看原文，学习学习，既是算法总结又是读论文笔记。这篇来写LTSA局部切空间排列。本篇符号尽量与原文保持一致，与前面几篇有所不同。主要思路LTSA（Local Tangent Space Alignment）的基本思路是用样本点的近邻区域的切空间来表示局部
转载
2024-05-22 19:23:55
243阅读
本周关于降维的学习主要分为五类：PCA、LDA、LLE、tSNE、ISOMAP 来进行学习 首先自己的任务是：tSNE的学习 （一）降维的基本知识点总结 1、降维方法分为线性和非线性降维，非线性降维又分为基于核函数和基于特征值的方法。 （1）线性降维：PCA、ICA、LDA、LFA、LPP （2）非线性降维方法：①基于核函数的方法：KPCA、KICA、KDA ②基于特征值的方法：IS
转载
2024-04-08 08:25:43
101阅读
# 使用LDA进行降维后进行分类的指南
在当今数据驱动的时代，降维和分类是数据科学中两个重要的环节。通过将高维数据使用LDA（线性判别分析）降维到较低的维度后，我们可以更有效地进行分类。本文将会逐步引导你实现“Python使用LDA降维后进行分类”的整个流程。
## 整体流程
我们将整个过程分为以下几个步骤，具体流程如下：
| 步骤 | 描述
原创
2024-09-15 04:03:28
278阅读
很多基础知识有些遗忘了，也算作是一种复习。我尽量推导的关键的地方写写，建议大家还是要手动推一推公式增加理解。Linear Discriminant Analysis (也有叫做Fisher Linear Discriminant)是一种有监督的（supervised）线性降维算法。与PCA保持数据信息不同，LDA是为了使得降维后的数据点尽可能地容易被区分！假设原始数据表示为X，（m*n矩
转载
2024-09-21 13:27:49
58阅读
# 使用LDA进行降维：原理与Python实现
LDA (线性判别分析) 是一种常用的降维技术，广泛应用于模式识别和机器学习。LDA不仅用于特征降维，还能在降维的同时增强数据的判别能力。在本篇文章中，我们将探讨LDA的基本原理，并通过Python代码实现一个简单的LDA降维示例。
## LDA的基本原理
LDA的核心思想是寻找一个最佳的投影方向，使得在这个方向上不同类别的数据之间的距离尽可能
原创
2024-10-31 09:51:18
117阅读
# LDA降维在Python中的应用
在数据分析和机器学习的领域，降维是一项重要的技术。它有助于减少数据的复杂性，提高模型的性能。线性判别分析（LDA）是一种广泛使用的降维方法，尤其在分类任务中表现优异。本文将介绍LDA降维的基本概念及其在Python中的应用，同时提供代码示例和可视化图表。
## 什么是LDA？
LDA（Linear Discriminant Analysis）是一种用于分
原创
2024-09-04 03:31:51
36阅读
