前言在机器学习项目的数据集中，特征间的高相关、特征与标签的低相关或不相关、特征本身的信息量以及特征数量等因素都会对模型的效果产生影响，特征筛选的目的是保留对预测有贡献的特征，删除冗余或无用特征。特征选择方法分为三大类，分别为过滤法（Filter）、包裹法（Wrapper）、嵌入法（Embedding）；本文仅研究过滤法，过滤法由可以分为两种，直接使用某个标准对每个特征分别打分，然后根据打分直接用阈
转载
2024-07-22 18:20:49
34阅读
文章目录背景题目特征筛选Filter过滤法方差过滤相关性过滤卡方过滤F检验互信息灰色关联度分析（GRA）Wrapper包装法Embedded嵌入法使用SelectFromModel 选取特征（Feature selection using SelectFromModel）基于树模型特征筛选题目应用回归模型的评价指标RMSE（均方根误差）MAE（平均绝对误差）R2（决定系数）EV(解释方差) 背景
转载
2024-07-31 18:32:10
126阅读
特征筛选特征筛选的方法基于统计值的特征筛选利用方差利用相关性利用线性模型迭代消除排列重要性(Permutation Importance)基于模型的特征筛选 特征筛选就是在已有的特征中，筛选出最具有代表的一部分特征来进行接下来的学习 通常，我们通过加入特征，模型的精度的变化来判断该特征的重要性 特征筛选的方法基于统计值的特征筛选利用方差方差主要计算特征的统计量（离散程度），结果可能与最终结果有
转载
2024-01-20 00:02:37
189阅读
特征筛选分类问题中筛选与离散标签相关性较强的连续变量——方差分析基本流程代码实现相关内容特征筛选（关键）回归问题中筛选与连续标签呈线性关系的连续变量——F检验（f_regression）计算过程特征筛选（关键）互信息法（mutual information）离散变量的互信息计算连续变量的互信息计算连续变量与离散变量的互信息计算最近邻计算函数计算过程（关键） 分类问题中筛选与离散标签相关性较强的连
转载
2024-06-01 14:20:20
88阅读
一.基于统计值的筛选方法1.过滤法：选择特征的时候，不管模型如何，首先统计计算该特征和和label的一个相关性，自相关性，发散性等等统计指标。优点：特征选择开销小，有效避免过拟合缺点：没有考虑后续的学习器来选择特征，减弱了学习器的学习能力（因为某些特征可能和label算出来相关性不大，但是可能和其他特征交叉后，会和label具有很强的关联性）2.单变量筛选法：a：缺失值占比b：方差c：频数d：信息
转载
2023-10-26 10:15:06
165阅读
前言数据挖掘中我们经常会遇到高维数据，特别是当我们的特征工程做得比较复杂时，这些特征可能会让我们的模型过拟合，或者很多特征是没有意义，对模型的优化起不到作用，反而会降低模型的运行效率和精度，所以我们需要对我们的特征变量进行筛选，去除掉无意义的特征，尽可能保留少而强的特征。下面是我用得最多的几个方法，也是我个人觉得最实用方法，其他特征筛选方法大家可以自行查阅资料，这里不多介绍。代码中data代表所有
转载
2024-04-10 07:12:52
162阅读
做模型时常常是特征越多模型准确率越高（至少在训练集上）。但过多的特征又增加了数
原创
2022-09-16 13:53:58
103阅读
机器学习（四）~KNN算法1. KNN模型2.策略2.1 距离度量2.2 K值选择2.3 分类决策规则3.KNN算法3.1【构造KD树】3.2 【KD树的最近邻搜索】 1. KNN模型KNN模型关键要素：k值的选取，距离度量的方式和分类决策规则思路： 对测试样本搜索训练集中最相似的K个样本进行多数表决法预测优点： 简单，没有训练过程，没有显式的学习过程缺点： 当特征空间的维度大和训练数据容量大时
转载
2024-08-09 00:18:00
95阅读
特征筛选的方法主要包括：Filter（过滤法）、Wrapper（封装法）、Embedded（嵌入法） filter: 过滤法特征选择方法一：去掉取值变化小的特征（Removing features with low variance）方法虽然简单但是不太好用，可以把它作为特征选择的预处理，先去掉那些取值变化小的特征如果机器资源充足，并且希望尽量保留所有信息，可以把阈值设置得比较高，或者只
转载
2023-10-30 20:32:55
661阅读
总体来说，良好的数据特征组合不需太多，便可以使得模型的性能表现突出。比如我们在“良/恶性乳腺癌肿瘤预测“问题中，仅仅使用两个描述肿瘤形态的特征便取得较高的识别率。冗余的特征虽然不会影响模型性能，但会浪费cpu的计算。主成分分析主要用于去除多余的那些线性相关的特征组合，这些冗余的特征组合并不会对模型训练有更多贡献。特征筛选与PCA这类通过选择主成分对特征进行重建的方法略有区别：对于PCA而言，我们经
转载
2023-08-30 22:37:24
124阅读
序言： 特征筛选是风控建模中非常重要的步骤，其目标是寻找最优特征子集来提升模型效果，减短训练时间和提高可解释性，本文将从特征筛选的目的出发，介绍过滤式，包裹式，嵌入式三种常用的特征筛选方法。今天我们综合了星球同学的一些需求，给大家梳理了这样一篇风控建模中特征筛选，希望对所有的风控人员在模型开发上都有所启发。 本文，我们会跟大家介绍特征选择的内容，包括其中的重点问题跟注意的细节。因为完整内容较长，本
转载
2023-12-13 17:27:17
187阅读
在本文中，我们将回顾特性选择技术并回答为什么它很重要以及如何使用python实现它。本文还可以帮助你解答以下的面试问题:什么是特征选择?说出特性选择的一些好处你知道哪些特征选择技巧?区分单变量、双变量和多变量分析。我们能用PCA来进行特征选择吗?前向特征选择和后向特征选择的区别是什么? 什么是特征选择，为何重要特性选择是选择与ML模型更加一致、非冗余和更相关的基本特性的过程。在ML项目中
转载
2023-08-27 09:54:14
148阅读
MEID简介： Mobile Equipment IDentifier (MEID) 伪ESN码并非唯一，但不会与UIMID或者ESN(真ESN码）重复，因为它们有一个独特的生产商代 码0x80(十进制128）。从ESN到MEID的转换分配预期在2004-2005年执行，实际转换时间应该在2007-2008年。
转载
2024-09-18 18:29:23
80阅读
1. XGBoost如何处理不平衡数据对于不平衡的数据集，例如用户的购买行为，肯定是极其不平衡的，这对XGBoost的训练有很大的影响，XGBoost有两种自带的方法来解决：第一种，如果你在意AUC，采用AUC来评估模型的性能，那你可以通过设置scale_pos_weight来平衡正样本和负样本的权重。例如，当正负样本比例为1:10时，scale_pos_weight可以取10；第二种，如果你在意
转载
2024-10-19 22:50:49
97阅读
虽然网上有各种各样特征筛选的方法,度娘一下眼花缭乱,什么方差选择法,相关系数法,卡方检验,互信息法等等.写特征已经够辛
原创
2021-08-10 16:30:21
205阅读
根据特征选择的形式可以将特征选择方法分为3种：Filter：过滤法，按照发散性或者相关性对各个特征进行评分，设定阈值或者待选择阈值的个数，选择特征。Wrapper：包装法，根据目标函数（通常是预测效果评分），每次选择若干特征，或者排除若干特征。Embedded：嵌入法，先使用某些机器学习的算法和模型进行训练，得到各个特征的权值系数，根据系数从大到小选择特征。类似于Filter方法，但是是通过训练来
转载
2023-12-11 11:36:51
415阅读
1. 说明 本文并非介绍某个成熟算法或者工具，只是个人的一点感悟，写得可能不正确，不全面，希望能给大家带来一些启发
原创
2022-09-16 13:51:01
228阅读
# 使用 RFE 特征筛选的步骤解析
## 一、引言
在机器学习中，特征选择是一个至关重要的步骤，它可以帮助我们提升模型的性能，并减少计算成本。递归特征消除（Recursive Feature Elimination, RFE）是一种常用的方法，用于选择重要特征。本文将介绍如何在 Python 中实现 RFE 特征筛选的流程，并提供详细的代码示例。
## 二、RFE 特征筛选的流程
以下是
# 教你如何实现“Python GBDT特征筛选”
## 整体流程
下面是整个流程的步骤表格：
| 步骤 | 操作 |
| ---- | -------------------- |
| 1 | 数据预处理 |
| 2 | 构建GBDT模型 |
| 3 | 获取特征重要性 |
| 4 |
原创
2024-04-06 04:16:16
132阅读
XGBoost算法在机器学习中是一个比较重要的算法模块，过去我们经常处理连续特征用GBDT，而现在更多的是用XGBoost，特别是在数据预处理和特征工程上，XGBoost有很多明显的优势。一、算法原理之前一直有听说GBM，GBDT（Gradient Boost Decision Tree）渐进梯度决策树GBRT（Gradient Boost RegressionTree）渐进梯度回归树是GBDT的
转载
2024-10-30 08:45:52
88阅读
