1.概述1.1 什么是TSNETSNE是由T和SNE组成，T分布和随机近邻嵌入(Stochastic neighbor Embedding).TSNE是一种可视化工具，将高位数据降到2-3维，然后画成图。t-SNE是目前效果最好的数据降维和可视化方法t-SNE的缺点是：占用内存大，运行时间长。1.2 TSNE原理1.2.1入门的原理介绍举一个例子，这是一个将二维数据降成一维的任务。我们要怎么实现？
转载
2024-08-14 22:13:36
58阅读
任何与数据相关的挑战的第一步都是从研究数据本身开始的。例如，可以通过查看某些变量的分布或查看变量之间的潜在相关性来研究。目前的问题是 , 很多数据集都有大量的变量。换句话说，它们是多维度的，数据沿着这些维度分布。这样的话，可视化地研究数据会变得很有挑战性，大多数时候甚至不可能手工完成。但是，研究数据时，可视化数据是非常重要的。因此，理解如何可视化高维数据集是关键，这可以使用降维技术来实现。这篇文章
转载
2024-01-11 08:39:58
55阅读
文章目录前言一、主成分分析（PCA）1.说明2.【例1】基于主成分分析对 Iris 数据集降维：二、奇异值分解（SVD）1.说明2.【例2】基于奇异值分解对 Iris 数据集降维。三、线性判别分析（LDA）1.说明2.【例3】基于线性判别式分析对 Iris 数据集降维四、局部线性嵌入（LLE）1.说明2.【例4】基于局部线性嵌入对 Iris 数据集降维五、拉普拉斯特征映射（LE）1.说明2.【例5
转载
2024-04-03 13:11:05
57阅读
从上篇加载的数据开始，在层列表勾选该层。选择菜单命令 高光谱->复制波段数据 。点击后出现下述对话框。图1 选择波段图1左侧列出了所有通道的数据，打勾表示已经选中。点击OK可以将所有选中的通道复制成一个新层，选中所有通道就相当于复制了一个与当前层完全一样的副本。当然有时候我们不需要复制一个完全相同的层。1. 勾选/保存勾选结果勾选需要复制的通道很简单，但是300多个通道每次挑一遍也很费劲。挑
转载
2023-08-07 13:59:28
357阅读
在这篇博文中，我们将探讨如何在Python中进行数据处理，特别关注高通滤波的问题。高通滤波在信号处理和图像处理等领域非常重要，能够有效地去除信号或图像中的低频噪声。
## 问题背景
随着数据的暴增，尤其是在图像处理和信号处理中，如何有效地进行数据清洗和特征提取成了一个亟待解决的关键问题。尤其是在处理含有高频信息的信号时，传统的低通滤波器会损害数据中的重要信息，例如边缘和细节。因此，引入高通滤波
1.摘要HSI----高光谱图像（Hyperspectral Image）。所捕获的光谱信息以及对应高光谱数据对象之间的非线性关系，使得传统方法无法进行准确的分类。深度学习方法作为一个强有力的特征提取器，被用在高光谱图像分类任务上。1.概括传统机器学习方法用于HSIC上面的不足，然后了解深度学习方法解决这些问题的优势。2.将目前最新的深度学习框架划分为：光谱特征、空间特征和空间光谱特征。3.如何高
转载
2023-10-12 16:35:24
297阅读
在机器学习领域中，我们对原始数据进行特征提取，有时会得到比较高维的特征向量。在这些向量所处的高维空间中，包含很多的冗余和噪声。我们希望通过降维的万式米寻找数据内部的特性，从而提升特征表达能力，降低训练复杂度。主成分分析(PrincipalComponents Analysis,PCA）作为降维中最经典的方法，至今已有100多年的历史,它属于一种线性、非监督、全局的降维算法。PCA旨在找到数据中的主
转载
2024-04-10 04:45:37
81阅读
1.归一化处理，分为均值归一化（mapminmax）和标准化（mapstd）
1.1mapminmax处理，按行逐行将数据归一化到-1-1，若6次采集的549波段的高光谱数据，如矩阵A为549*6，直接mapminmax（A），表示对于每一个波段，将不同批次采集的数据归一化，消除掉采集时外界因素对单波段的影响；
转载
2023-07-28 08:16:59
280阅读
Python 数据维数在数据科学和机器学习领域，理解数据的维度是至关重要的。Python作为一种强大而灵活的编程语言，提供了丰富的工具和库来处理各种维度的数据。本文将介绍Python中数据维数的概念，以及如何使用Python库来处理不同维度的数据。什么是数据维数？数据维数是指数据集中包含的维度或特征的数量。在二维情况下，数据由行和列组成，类似于电子表格。在更高维度的情况下，数据可以具有多个轴，每个
原创
精选
2024-07-06 13:52:14
366阅读
## Python 二维列表数据处理教程
### 流程图
```mermaid
flowchart TD
A(开始) --> B(创建二维列表)
B --> C(数据处理)
C --> D(输出结果)
D --> E(结束)
```
### 状态图
```mermaid
stateDiagram
开始 --> 创建二维列表
创建二维列表 --
原创
2024-04-29 03:48:26
61阅读
概述Excel固然功能强大，也有许多函数实现数据处理功能，但是Excel仍需大量人工操作，虽然能嵌入VB脚本宏，但也容易染上宏病毒。python作为解释性语言，在数据处理方面拥有强大的函数库以及第三方库，excel作为主要基础数据源之一，在利用数据进行分析前往往需要预先对数据进行整理。因此，本文就python处理excel数据进行了学习，主要分为python对excel数据处理的常用数据类型以及常
转载
2023-08-09 10:53:15
327阅读
引言之前我们有一篇文章《一文读懂多维分析技术（OLAP）的进化过程》为大家介绍了多维分析技术（即联机分析处理（On-Line Analytical Processing），简称OLAP）的前世今生及发展方向。正是由于多维分析技术在业务分析系统的核心功能中的不可替代性，随着商业智能系统的深入应用，分析系统的数据量呈指数级增长，原有依赖硬盘IO处理性能（包括传统数据库、多维立方体文件）的多维分析技术遭
转载
2024-03-01 20:55:42
36阅读
Python是数据科学家十分喜爱的编程语言，其内置了很多由C语言编写的库，操作起来更加方便，Python在网络爬虫的传统应用领域，在大数据的抓取方面具有先天优势，目前，最流行的爬虫框架Scrapy、HTTP工具包urlib2、HTML解析工具、XML解析器lxml等，都是能够独当一面的Python类库。Python十分适合数据抓取工作，对于大数据的处理，Python在大数据处理方面的优势有：1、异
转载
2023-06-28 15:50:52
429阅读
写在前面：看完这篇文章，你会知道： ①为什么要用PCA？②PCA的原理？③slearn中的PCA如何使用？资料来源于互联网及课堂讲义；欢迎讨论和补充~1 背景1.1 维数灾难在做数据挖掘的时候，经常会遇到数据体量过大的情况，这种大体量往往会在两方面：样本量过大（表现为行多）；样本特征过多（表现为列多）；从而在处理的时候会占用很多时间和空间，耗费大量的成本。维数灾难（Course
转载
2024-06-27 11:37:46
52阅读
一、海量数据解决方案1、使用缓存，使用方式：使用程序直接保存到内存中。主要使用Map，尤其ConcurrentHashMap。使用缓存框架。常用的框架：Ehcache，Memcache，Redis等。最关键的问题是：什么时候创建缓存，以及其失效机制。对于空数据的缓冲：最好用一个特定的类型值来保存，以区别空数据和未缓存的两种状态。2、数据库优化表结构优化。SQL语句优化，语法优化和处理逻辑优化。可记
转载
2023-08-29 13:50:18
31阅读
高光谱遥感数据光谱特征的提取与应用 杜培军
遥感基础知识积累：绝对温度大于0的物体在整个光谱轴上具有连续的光谱曲线高光谱可以有效的描述一些窄而重要的局部光谱特征，可以明显看到高光谱对于光谱频带的描述是详细的。
光谱数据库美国JBL的航空可见光/红外成像光谱仪(AVIRIS)，AVIRIS在0.2-2.45微米的波长范围内获取224个连续的光谱波段图像，波段宽度不大于10n
转载
2024-07-23 16:35:23
35阅读
通过实现SQL类似的功能，处理收集数据，数据预处理，数据计算汇总等流程，了解相应的数据处理流程和技术手段。
目的：从数据收集，数据预处理，数据简单的汇总统计，以及后续的数据说明做一个简单的示例
本分析不涉及具体姓名的数据，做相应的匿名化处理，所有数据来源都是网络公开数据。通过对公开数据的收集，数据预处理，汇总，描述性统计等方式
熟悉相应的技术应用，一些分
转载
2023-08-24 14:59:16
286阅读
pandas 是基于NumPY 的一种工具，该工具是为了解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。pandas提供了大量能使我们快速便捷地处理数据的函数和方法。你很快就会发现，它是使Python成为强大而高效的数据分析环境的重要因素之一。习惯上，我们会按下面格式引入所需要的包：一、 &nbs
转载
2023-12-07 09:01:34
68阅读
一、基本函数篇1）python strip()函数介绍函数原型声明：s为字符串，rm为要删除的字符序列s.strip(rm) 删除s字符串中开头、结尾处，位于 rm删除序列的字符
s.lstrip(rm) 删除s字符串中开头处，位于 rm删除序列的字符
s.rstrip(rm) 删除s字符串中结尾处，位于 rm删除序列的字符注意： 当rm为空时，默认删除空白符（包括'\n', '\r',
转载
2023-08-14 14:04:31
216阅读
题记：数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。无论，数据分析，数据挖掘，还是算法工程师，工作中80%的时间都用来处理数据，给数据打标签了。而工作中拿到的数据脏的厉害，必须经过处理才能放入模型中。以下是一脏数据表：（表格放在最后供看官下载练习）这张表格有多少处数据问题？大家对数据问题是如何定义的？不妨带着疑问阅读下文；数据处理四性“完全合一”。完整性：单条数据是否存在空值，
转载
2023-07-07 13:45:39
205阅读
