1.介绍了一种分段弱正交匹配追踪（SWOMP）的算法流程
2.给出了SWOMP的matlab代码
3.给出了压缩感知重构的测试代码
4.门限参数α、测量数M与重构成功概率关系曲线绘制例程代码
论文在第二部分先提出了贪婪算法框架，如下截图所示：接着根据原子选择的方法不同，提出了SWOMP（分段弱正交匹配追踪）算法，以下部分为转载《压缩感知重构算法之分段弱正
回归是一种统计方法，可让我们了解自变量和因变量之间的关系。逐步回归是回归分析中一种筛选变量的过程，我们可以使用逐步回归从一组候选变量中构建回归模型，让系统自动识别出有影响的变量。 理论说明逐步回归，是通过逐步将自变量输入模型，如果模型具统计学意义，并将其纳入在回归模型中。同时移出不具有统计学意义的变量。最终得到一个自动拟合的回归模型。其本质上还是线性回归。 一、案例背景研究人员
转载
2023-11-28 14:08:58
73阅读
这部分内容没有固定主题，不定期更新，都是些零碎的，我觉得有必要记一笔的知识。希望能对其他人也有所帮助。 sklearn.feature_selection 里的 F_regression特征选择方法众多，sklearn 的特征选择模块里给出了几种非常简易高效的方法。针对回归问题，sklearn 给出了两种方法，其中一种是 F_regression 引起了我的注意。F_regression
转载
2024-05-06 09:27:33
148阅读
特征筛选特征筛选的方法基于统计值的特征筛选利用方差利用相关性利用线性模型迭代消除排列重要性(Permutation Importance)基于模型的特征筛选 特征筛选就是在已有的特征中，筛选出最具有代表的一部分特征来进行接下来的学习 通常，我们通过加入特征，模型的精度的变化来判断该特征的重要性 特征筛选的方法基于统计值的特征筛选利用方差方差主要计算特征的统计量（离散程度），结果可能与最终结果有
转载
2024-01-20 00:02:37
189阅读
之前在 SPSS 中的回归分析算法中发现，在它里面实现的算法有 Enter 和 Stepwise 两种。Enter 很容易理解，就是将所有选定的自变量一起放入模型中，直接去计算包含所有自变量的整个模型能够解释多少因变量中的变异，以及各个自变量单独的贡献有多少。但对 Stepwise regression 的理解总是很模糊，今天仔细查了一下，做下笔记。与平时所说的 regression analys
转载
2023-11-15 15:59:38
249阅读
《机器学习实战》学习笔记-[11]-回归-前向逐步回归其他学习：你应该掌握的七种回归技术 7 Types of Regression Techniques you should know!原理简介
参考：
Stepwise regression 学习笔记 、
Stepwise regression
（1）在特征较多时，我们面临降低维度分析的问题，也
转载
2023-12-05 06:48:27
55阅读
逻辑回归所要学习的函数模型为y(x)，由x->y，x为样本，y为目标类别，即总体思想是任意给出一个样本输入，模型均能将其正确分类。实际运用中比如有邮箱邮件分类，对于任意一封邮件，经过模型后可将其判别为是否是垃圾邮件。假如我们知道某类数据的条件概率分布函数P(y|x),则不管输入x是什么值，均能计算出输出y为特定值的概率，根据概率的大小，也就可以将其正确分类。因此我们需要做的就是找到一个尽可能
转载
2024-08-11 15:45:41
68阅读
利用K近邻（回归）KNeighborsRegressor进行回归训练并预测关于K近邻回归k近邻有分类也有回归，其实两者原理一样:定量输出是回归，进行预测比如明天的降水概率定性输出是分类，需要定性的描述kNN回归的原理：通过找出一个样本的k个最近邻居，将这些邻居的某个（些）属性的平均值赋给该样本，就可以得到该样本对应属性的值。关于sklearn内建boston数据集类型是sklearn.utils.
转载
2024-04-30 14:06:17
133阅读
一、原理逻辑回归原理可参考：https://zhuanlan.zhihu.com/p/73608677和https://zhuanlan.zhihu.com/p/90520763两位大佬的1、这里说下我自己的理解：首先逻辑回归建立在线性回归的基础上，但是由于线性回归预测出来的值可以是负无穷到正无穷的，要解决分类问题，通过一个类似于s形状的函数进行映射（也就是Sigmoid Function）一般用
转载
2024-08-01 08:32:37
60阅读
问题在数据处理中经常会遇到特征太多造成的计算负担和一些其他的影响，如过拟合等，不但使得预测结果不准确，还消耗计算时间。所以特征选择就显得非常重要了。特征选择：从给定的特征集合中选取出相关特征子集的过程成为“特征选择”。通过这一操作，不仅能够减少特征的维度，也能得到更能体现目标值的几个特征。在周志华的《机器学习》中第十一章对于特征选择也是有所提到。在文章中大佬对于特征选择的方法分为三类：过滤式（fi
转载
2024-04-03 20:16:22
125阅读
特征选择是选择相关特征的子集用于机器学习模型构建的过程,数据越多，结果就越好，这并不总是事实。包含不相关的特征(对预测没有帮助的特征)和冗余的特征(与他人无关的特征)只会使学习过程不堪重负，容易导致过度拟合。 特征选择的好处：不同的特征子集为不同的算法提供了最佳性能。所以它和机器学习模型训练不是一个单独的过程。因此，如果我们要为线性模型选择特征，最好使用针对这些模型的选择程序，如回归系数
转载
2024-03-18 10:03:44
196阅读
# 如何实现 Python 的逐步回归（Stepwise Regression）
逐步回归是一种用于选择预测变量的回归分析方法，它逐步添加或剔除自变量，以找到最佳模型。本文将详细介绍 Python 中逐步回归的实现过程，便于初学者掌握。
## 流程概述
以下是实现逐步回归的基本步骤：
| 步骤 | 描述
特征工程：特征选择，特征表达和特征预处理。1、特征选择 特征选择也被称为变量选择和属性选择，它能够自动地选择数据中目标问题最为相关的属性。是在模型构建时中选择相关特征子集的过程。 特征选择与降维不同。虽说这两种方法都是要减少数据集中的特征数量，但降维相当于对所有特征进行了重新组合，而特征选择仅仅是保留或丢弃某些特征，而不改变特征本身。降维常见的方法有PCA，SVD，萨蒙映射等，特征选择是丢
转载
2024-05-13 15:38:13
343阅读
一、特征选择–与降维的差异相同点：效果一样，都是试图减少数据集
原创
2018-06-14 13:37:45
235阅读
一、什么是特征选择？ 特征选择是对 根据所研究的问题 的 数据 根据数据字段与标签或者结果之间的相关程度进行选择，是效率(所研究问题的数据对问题结果的有效影响)达到最大化。二、为什么要进行特征选择？维度灾难 - 过度拟合 : 一般经验是当数据中的列数多于行数，可能会对模型产生不好的影响，即模型会过度地拟合数据，导致模少泛化能力。此外，大量特征使得模型体积庞大，耗时，并且难以在生产中实施。可解释性:
原创
2022-11-24 12:20:36
311阅读
移除低方差特征单变量特征选择递归式特征消除使用 SelectFromModel
原创
2022-11-02 09:53:50
378阅读
一.什么是特征选择(Feature Selection ) 特征选择也叫特征子集选择 ( FSS , Feature Subset Selection ) 。是指从已有的M个特征(Feature)中选择N个特征使得系统的特定指标最优化。 需要区分特征选择与特征提取。特征提取 ( Feature extraction )是指利用已有的特征计算出一个抽象程度更高的特征集，也指计算得到某
转载
2023-11-23 17:05:52
235阅读
从这篇博文得到的启发 从N个数中取出任意个数，求和为指定值的解，二进制版本和通用版本常见的特征选择方法有Filter方法和Wrapper方法。Filter方法• 核心思想是利用某种评价准则给特征打分选择分数高的特征作为特征子集
• 特点：性能只依赖于评价准则的选取，时间复杂度低，速度很快；但是分类精度较低Wrapper方法• 在筛选特征的过程当中直接利用所选的特征来训练分类器，根据这个分类器在验
转载
2024-01-01 10:27:26
217阅读
一、算法 Relief算法最早由Kira提出. 基本内容：从训练集D中随机选择一个样本R, 然后从和R同类的样本中寻找k最近邻样本H，从和R不同类的样本中寻找k最近邻样本M， 最后按照公式更新特征权重. 算法:
转载
2024-02-02 18:24:30
438阅读
特征选择特征选择是特征工程里的一个重要问题，其目标是寻找最优特征子集。特征选择能剔除不相关(irrelevant)或冗余(redundant )的特征，从而达到减少特征个数，提高模型精确度，减少运行时间的目的。并且常能听到“数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已”，由此可见其重要性。 特征选择有以下三种常见的方法： 导入数据:import pandas as pd
dat
转载
2023-08-30 09:05:41
777阅读
