降维降维是解决维度灾难和过拟合的重要⽅法，除了直接的特征选择外，我们还可以采⽤算法的途径对特征进⾏筛选，线性的降维⽅法以 PCA 为代表，在 PCA 中，我们只要直接对数据矩阵进⾏中⼼化然后求奇异值分解或者对数据的协⽅差矩阵进⾏分解就可以得到其主要维度。⾮线性学习的⽅法如流形学习将投影⾯从平⾯改为超曲⾯。 解决过拟合的问题除了正则化和添加数据之外，降维是最好的方法。降维的思路来源于维度灾难的问题，
PCA可以将数据从原来的向量空间映射到新的空间中。由于每次选择的都是方差最大的方向,所以往往经过前几个维度的划分后，之后的数据排列都非常紧密了， 我们可以舍弃这些维度从而实现降维原理内积两个向量的乘积满足:\(ab= |a|\cdot |b|\cdot cos(\theta)\).如果\(|b|=1\)的话,\(ab=|a| \cdot cos(\theta)\). 而这个式子的含义就是a在b方向
# Python将向量降维流程
## 摘要
本文将介绍如何使用Python将向量降维。向量降维是一种常用的数据处理技术，可以将高维数据转换为低维数据，以便于可视化和分析。本文将以步骤的形式介绍向量降维的过程，并提供相应的代码示例和注释。
## 步骤概述
下面的表格展示了向量降维的步骤概述：
| 步骤 | 描述 |
| --- | --- |
| 步骤 1 | 导入必要的库 |
| 步骤 2
原创
2023-10-04 10:05:45
118阅读
1.向量——数学定义：对于数学家而言，向量就是一个数字列表，对程序而言则是另一种相似的概念——数组。数学上，一个向量就是一个数组。(1)向量与标量： 数学上区分向量和标量。标量是我们平时所用数字的技术称谓。使用该术语时，是想强调数量值。(2)向量的维度： 向量的维度就是向量包含的“数”的数目。向量可以有任意正维数，当然也包括一维向量。实际上标量可以被认为是一维向量。(3)记法： 水平书写的向量叫行
以下为学习笔记，不定期更新。最近在处理图像，利用深度学习的方法将图像转换成向量，再对向量进行处理，在利用向量的过程中发现，无论是卷积神经网络还是深度残差网络，提取到的图像特征（每张图片对应一个向量）的维度都是非常高的，这对后期的利用图像特征进行处理造成了非常大的困难，所以寄希望于对提取到的图像特征进行降维处理，决定从最基础的方法——PCA（主成分分析）开始学起。一、方法名称：主成分分析（PCA：P
# UMAP对高维向量降维的应用及Python实现
在数据科学和机器学习领域，我们常常需要处理高维数据。然而，高维数据的处理和可视化往往非常困难。使用降维技术可以帮助我们减少数据维度，从而更清晰地理解数据。本文将介绍UMAP（Uniform Manifold Approximation and Projection）这一降维算法，并提供Python示例，帮助大家理解如何应用UMAP进行高维数据的
1.背景介绍随着大数据时代的到来，数据量的增长以及数据的复杂性不断提高，为了更有效地处理和分析这些大规模复杂的数据，高维数据处理技术变得越来越重要。在高维数据处理中，向量转置和降维处理是两个非常重要的概念和技术，它们在数据预处理、特征提取和模型构建等方面发挥着关键作用。本文将从以下六个方面进行全面的介绍和解释：背景介绍、核心概念与联系、核心算法原理和
原创
2023-12-27 10:30:22
148阅读
1.主成分分析（Principal components analysis，以下简称PCA）是最重要的降维方法之一。在数据压缩消除冗余和数据噪音消除等领域都有广泛的应用。一般我们提到降维最容易想到的算法就是PCA，目标是基于方差提取最有价值的信息，属于无监督问题。但是降维后的数据因为经过多次矩阵的变化我们不知道降维后的数据意义，但是更加注重降维后的数据结果。2.向量的表示及基的变换（基：数据的衡
转载
2024-07-06 09:10:43
210阅读
上面代码加载了glove.6B.100d词向量，假设我需要设计一个函数，将词向量长为100映射到长为50，这个映射方法就是取每个向量的前50个元素，现在用torch代码实现这个功能，并将50维的向量加载到bi-lstm神经网络模型中。函数将所有降维后的词向量拼凑成张量，并将其加载到。维的，假设我要逐一的将每一个词的向量用映射函数。表示冻结词向量，不参与模型的训练过程。在循环中，对于每个词向量，都通过。函数用于将预训练的词向量加载到。维，再将各个降维的结果拼凑到。后，每次调用的词向量都是。
原创
2023-04-19 17:22:00
260阅读
文章目录一、降维1.1 降维必要性1.2 降维目的二、降维—PCA（无监督）2.1 PCA原理2.2 PCA 计算2.3 PCA的执行过程2.4 PCA案例2.5 PCA降维的SVD求解方式三、降维—LDA（有监督）3.1 LDA原理3.2 LDA问题求解四、PCA和LDA异同 一、降维特征降维必须在特征选择做完以后才能进行。当特征选择完成后，可以直接可以进行训练模型了，但是可能由于特征矩阵过大
先上简单易懂的主函数clear
close all
clc
load data.mat
X1=data; %data是一个N*M的矩阵，N是样本个数，M是维度！不要整乱了哦！
[X1,~]=mapminmax(X1'); %做个归一化处理，归一化处理的时候要对数据转置的哦
choice = 1; % 1代表高斯核，2代表多项式核，3代表线性核，4代表指数核，5代表拉普拉斯
本文包括两部分，使用python实现PCA代码及使用sklearn库实现PCA降维，不涉及原理。总的来说，对n维的数据进行PCA降维达到k维就是：对原始数据减均值进行归一化处理；求协方差矩阵；求协方差矩阵的特征值和对应的特征向量；选取特征值最大的k个值对应的特征向量；经过预处理后的数据乘以选择的特征向量，获得降维结果。 实验数据数据data.txt使用[2]中编写的数据，以下是部分数据截
转载
2023-08-10 11:37:47
229阅读
目录例子LDA降维在前几篇的文章中，大管提到了PCA降维，有小伙伴私信说在实际情况中，效果不太好。那大管今天就和大家聊一聊另一种降维的方法线性判别分析 (LDA)。它目前也是机器学习领域中比较经典而且又热门的一种算法。 还记得在PCA中是怎样做的吗？简单来说，是将数据映射到方差比较大的方向上，最后用数学公式推导出矩阵的前TopN的特征向量，这里的方差可以理解为
转载
2024-02-21 16:20:43
85阅读
特征降维方法包括：Lasso，PCA，小波分析，LDA(Linear Discriminant Analysis线性判别分析)，LDA(Latent Dirichlet Allocation潜在狄利克雷分配)，奇异值分解SVD，拉普拉斯特征映射，深度学习SparseAutoEncoder，局部线性嵌入LLE，等距映射Isomap，word2vec。1. LASSO通过参数缩减达到降维的目的。LAS
转载
2024-05-09 12:41:25
53阅读
前面写的PCA，LE，LDA，LLE都是以前就比较熟悉的东西，从这篇开始写的都是之前不熟悉的甚至都不知道名字的算法，然而都还很经典。疫情期间在家里看看原文，学习学习，既是算法总结又是读论文笔记。这篇来写LTSA局部切空间排列。本篇符号尽量与原文保持一致，与前面几篇有所不同。主要思路LTSA（Local Tangent Space Alignment）的基本思路是用样本点的近邻区域的切空间来表示局部
转载
2024-05-22 19:23:55
240阅读
LLE局部线性嵌入，Locally Linear Embedding（LLE）是另一个功能强大的非线性降维（nonlinear dimensional reduction，NLDR）技术。它是一个流形学习技术，并不基于投影。简单地说，LLE工作的方式是：首先衡量每个训练实例与它最近的邻居们（closest neighbors，c.n.）的线性相关程度，然后在这些局部关系可以得到最好地保存的情况下，
转载
2024-03-19 10:28:42
50阅读
单细胞RNA降维之UMAPUMAP首先，UMAP是一种非线性降维的算法，相对于t-SNE，UMAP算法更加快速 该方法的原理是利用流形学和投影技术，达到降维目的 首先计算高维空间中的点之间的距离，将它们投影到低维空间，并计算该低维空间中的点之间的距离。然后，它使用随机梯度下降来最小化这些距离之间的差异。比方说，图中两个黑点，若考虑直线距离，那么这两个黑点之间距离很相近 如果放到流形学上，那么这两个
转载
2023-10-11 22:56:28
423阅读
本周关于降维的学习主要分为五类：PCA、LDA、LLE、tSNE、ISOMAP 来进行学习 首先自己的任务是：tSNE的学习 （一）降维的基本知识点总结 1、降维方法分为线性和非线性降维，非线性降维又分为基于核函数和基于特征值的方法。 （1）线性降维：PCA、ICA、LDA、LFA、LPP （2）非线性降维方法：①基于核函数的方法：KPCA、KICA、KDA ②基于特征值的方法：IS
转载
2024-04-08 08:25:43
101阅读
你遇到过特征超过1000个的数据集吗？超过5万个的呢？我遇到过。降维是一个非常具有挑战性的任务，尤其是当你不知道该从哪里开始的时候。拥有这么多变量既是一个恩惠——数据量越大，分析结果越可信；也是一种诅咒——你真的会感到一片茫然，无从下手。面对这么多特征，在微观层面分析每个变量显然不可行，因为这至少要几天甚至几个月，而这背后的时间成本是难以估计的。为此，我们需要一种更好的方法来处理高维数据，比如本文
转载
2023-08-22 20:10:14
260阅读
数据降维：定义：特征的数量减少特征选择：原因：1、冗余部分特征相关性高，容易消耗计算机性能2、噪声：部分特征对预测结果有负影响工具：1、Filter（过滤式）：VarianceThreshold （sklearn.feature_selection.VarianceThreshold）2、Embedded（嵌入式）：正则化、决策树3、Wrapper（包裹式）方差大小来考虑P
转载
2023-08-31 15:36:19
102阅读
