1.主成分分析（Principal components analysis，以下简称PCA）是最重要的降维方法之一。在数据压缩消除冗余和数据噪音消除等领域都有广泛的应用。一般我们提到降维最容易想到的算法就是PCA，目标是基于方差提取最有价值的信息，属于无监督问题。但是降维后的数据因为经过多次矩阵的变化我们不知道降维后的数据意义，但是更加注重降维后的数据结果。2.向量的表示及基的变换（基：数据的衡
转载
2024-07-06 09:10:43
210阅读
目录例子LDA降维在前几篇的文章中，大管提到了PCA降维，有小伙伴私信说在实际情况中，效果不太好。那大管今天就和大家聊一聊另一种降维的方法线性判别分析 (LDA)。它目前也是机器学习领域中比较经典而且又热门的一种算法。 还记得在PCA中是怎样做的吗？简单来说，是将数据映射到方差比较大的方向上，最后用数学公式推导出矩阵的前TopN的特征向量，这里的方差可以理解为
转载
2024-02-21 16:20:43
85阅读
特征降维方法包括：Lasso，PCA，小波分析，LDA(Linear Discriminant Analysis线性判别分析)，LDA(Latent Dirichlet Allocation潜在狄利克雷分配)，奇异值分解SVD，拉普拉斯特征映射，深度学习SparseAutoEncoder，局部线性嵌入LLE，等距映射Isomap，word2vec。1. LASSO通过参数缩减达到降维的目的。LAS
转载
2024-05-09 12:41:25
53阅读
本文包括两部分，使用python实现PCA代码及使用sklearn库实现PCA降维，不涉及原理。总的来说，对n维的数据进行PCA降维达到k维就是：对原始数据减均值进行归一化处理；求协方差矩阵；求协方差矩阵的特征值和对应的特征向量；选取特征值最大的k个值对应的特征向量；经过预处理后的数据乘以选择的特征向量，获得降维结果。 实验数据数据data.txt使用[2]中编写的数据，以下是部分数据截
转载
2023-08-10 11:37:47
229阅读
前面写的PCA，LE，LDA，LLE都是以前就比较熟悉的东西，从这篇开始写的都是之前不熟悉的甚至都不知道名字的算法，然而都还很经典。疫情期间在家里看看原文，学习学习，既是算法总结又是读论文笔记。这篇来写LTSA局部切空间排列。本篇符号尽量与原文保持一致，与前面几篇有所不同。主要思路LTSA（Local Tangent Space Alignment）的基本思路是用样本点的近邻区域的切空间来表示局部
转载
2024-05-22 19:23:55
240阅读
单细胞RNA降维之UMAPUMAP首先，UMAP是一种非线性降维的算法，相对于t-SNE，UMAP算法更加快速 该方法的原理是利用流形学和投影技术，达到降维目的 首先计算高维空间中的点之间的距离，将它们投影到低维空间，并计算该低维空间中的点之间的距离。然后，它使用随机梯度下降来最小化这些距离之间的差异。比方说，图中两个黑点，若考虑直线距离，那么这两个黑点之间距离很相近 如果放到流形学上，那么这两个
转载
2023-10-11 22:56:28
423阅读
LLE局部线性嵌入，Locally Linear Embedding（LLE）是另一个功能强大的非线性降维（nonlinear dimensional reduction，NLDR）技术。它是一个流形学习技术，并不基于投影。简单地说，LLE工作的方式是：首先衡量每个训练实例与它最近的邻居们（closest neighbors，c.n.）的线性相关程度，然后在这些局部关系可以得到最好地保存的情况下，
转载
2024-03-19 10:28:42
50阅读
本周关于降维的学习主要分为五类：PCA、LDA、LLE、tSNE、ISOMAP 来进行学习 首先自己的任务是：tSNE的学习 （一）降维的基本知识点总结 1、降维方法分为线性和非线性降维，非线性降维又分为基于核函数和基于特征值的方法。 （1）线性降维：PCA、ICA、LDA、LFA、LPP （2）非线性降维方法：①基于核函数的方法：KPCA、KICA、KDA ②基于特征值的方法：IS
转载
2024-04-08 08:25:43
101阅读
sklearn中的降维算法1. PCA与SVD sklearn中降维算法都被包括在模块decomposition中，这个模块本质是一个矩阵分解模块。在过去的十年中，如果要讨论算法进步的先锋，矩阵分解可以说是独树一帜。矩阵分解可以用在降维，深度学习，聚类分析，数据预处理，低纬度特征学习，推荐系统，大数据分析等领域。在2006年，Netflix曾经举办了一个奖金为100万美元的推荐系统算
转载
2024-01-08 14:23:47
59阅读
你遇到过特征超过1000个的数据集吗？超过5万个的呢？我遇到过。降维是一个非常具有挑战性的任务，尤其是当你不知道该从哪里开始的时候。拥有这么多变量既是一个恩惠——数据量越大，分析结果越可信；也是一种诅咒——你真的会感到一片茫然，无从下手。面对这么多特征，在微观层面分析每个变量显然不可行，因为这至少要几天甚至几个月，而这背后的时间成本是难以估计的。为此，我们需要一种更好的方法来处理高维数据，比如本文
转载
2023-08-22 20:10:14
260阅读
数据降维：定义：特征的数量减少特征选择：原因：1、冗余部分特征相关性高，容易消耗计算机性能2、噪声：部分特征对预测结果有负影响工具：1、Filter（过滤式）：VarianceThreshold （sklearn.feature_selection.VarianceThreshold）2、Embedded（嵌入式）：正则化、决策树3、Wrapper（包裹式）方差大小来考虑P
转载
2023-08-31 15:36:19
102阅读
深度学习巨头之一的Hinton大神在数据降维领域有一篇经典论文Visualizing Data using t-SNE。该方法是流形（非线性）数据降维的经典，从发表至今鲜有新的降维方法能全面超越。该方法相比PCA等线性方法能有效将数据投影到低维空间并保持严格的分割界面；缺点是计算复杂度大，一般推荐先线性降维然后再用tSNE降维。python sklearn有相应的实现。我现在用Tensorflow
转载
2023-12-13 16:50:35
41阅读
使用sklearn库初次尝试PCA和T-SNE，原理还不太理解，写错了请一定指出，或者等我自己发现hhhh1. PCA首先读入sklearn里自带的鸢尾花数据库，并调用相关的包，再查看一下这些数据都是些啥：import matplotlib.pyplot as plt
from sklearn.decomposition import PCA
from sklearn.datasets impor
转载
2023-08-15 13:40:53
148阅读
降维算法简介很多算法可以回归也可以分类降维算法PCA降维（主成分分析）LDA降维（线性判别分析）MDS降维（多维标度法）流形学习Isomap 简介很多算法可以回归也可以分类把连续值变为离散值：1.回归模型可以做分类：可以依据阀值（二元分类或多元分类）来分类2.逻辑回归二元分类，一个阀值。3.连续值进行分箱，实现多元分类4.把离散值变为连续值：插值法（1~2，在离散值之间插入足够密集的值）降维算法
转载
2023-09-19 07:01:06
165阅读
1.简介 在另一篇文章中讲了利用PCA对图片数据进行降维，这次介绍一下另一种降维方法——LDA(Linear Discriminant Analysis)，即线性判别分析。跟PCA不同，LDA是一种supervised的降维方法。即我们对数据降维时需要数据的label。 LDA的原理是要找到一个投影面，使得投影后相
转载
2024-06-23 06:49:29
111阅读
1.概述降维算法中的“降维”，指的是：降低特征矩阵中特征的数量。 降维的目的是：让算法运算更快，效果更好，还有另一种需求：数据可视化。SVD和PCA（主成分分析）是矩阵分解算法中的入门算法。PCA与SVD我们希望能够找出一种方法来帮助我们衡量特征上所带的信息，让我们在姜维的过程中，即能够减少特征的数量，又能够保留大部分的信息——将那些带有重复信息的特征合并，并删除那些带有无效信息的特征等——逐渐创
转载
2024-01-29 12:57:41
26阅读
文章目录线性判别分析（LDA）LDA思想总结图解LDA核心思想二类LDA算法原理LDA算法流程总结LDA和PCA区别LDA优缺点主成分分析（PCA）主成分分析（PCA）思想总结图解PCA核心思想PCA算法推理PCA算法流程总结PCA算法主要优缺点降维的必要性及目的KPCA与PCA的区别 线性判别分析（LDA）LDA思想总结 线性判别分析（Linear Discriminant Analysis，
转载
2024-05-24 21:00:21
71阅读
注： 在《SVD(异值分解)小结 》中分享了SVD原理，但其中只是利用了numpy.linalg.svd函数应用了它，并没有提到如何自己编写代码实现它，在这里，我再分享一下如何自已写一个SVD函数。但是这里会利用到SVD的原理，如何大家还不明白它的原理，可以去看看《SVD(异值分解)小结 》，或者自行百度/google。1、SVD算法实现1.1 SVD原理简单回顾有一个\(m \times n\)
转载
2023-08-03 16:23:55
131阅读
学习PCA降维算法的时候，在网上看到过两个不同版本的计算过程，一直有点迷糊，到底哪个版本才是对的。后来发现，两个版本的计算方法都没错，区别主要在于把每行看作一维向量，还是把每列看作一维向量。所以本文的主要目的就是总结和对比一下这两种过程略有不同的计算方法。1. 把每行看作一个一维向量该计算方法就是我们在之前一篇讲PCA降维算法的文章中所讲述的方法，其对应Opencv接口中的CV_PCA_DATA_
转载
2024-01-17 15:43:03
181阅读
主成分分析(Principal Component Analysis)Step 1:去相关(Decorrelation)Step 2: 降维(Reduce Dimension)数据是文本时Step 1:去相关(Decorrelation) 旋转数据样本，使它们与坐标轴对齐，并且样本均值变为0。##########################
转载
2023-06-21 21:04:08
216阅读
