目录变量选择回顾单变量筛选通过模型选择变量变量选择进阶只用模型就能选好变量么数据处理模型介绍实验结果认识伪相关两步法估计 变量选择回顾符号说明： 特征数量变量选择在机器学习中扮演着重要的角色，无论是对于构建一个可解释的模型，还是提升模型的预测能力。单变量筛选在高维情况下，有时候我们需要预先筛选部分变量，然后再训练模型。筛选过程需要做到如下两点：计算复杂度不能太高不能丢掉真正起作用的变量简言之，就
转载
2024-05-06 19:14:39
67阅读
1. XGBoost如何处理不平衡数据对于不平衡的数据集，例如用户的购买行为，肯定是极其不平衡的，这对XGBoost的训练有很大的影响，XGBoost有两种自带的方法来解决：第一种，如果你在意AUC，采用AUC来评估模型的性能，那你可以通过设置scale_pos_weight来平衡正样本和负样本的权重。例如，当正负样本比例为1:10时，scale_pos_weight可以取10；第二种，如果你在意
转载
2024-10-19 22:50:49
97阅读
# 教你如何实现“Python GBDT特征筛选”
## 整体流程
下面是整个流程的步骤表格：
| 步骤 | 操作 |
| ---- | -------------------- |
| 1 | 数据预处理 |
| 2 | 构建GBDT模型 |
| 3 | 获取特征重要性 |
| 4 |
原创
2024-04-06 04:16:16
132阅读
GBDT利用损失函数的负梯度作为残差的近似值。2. 如何评估特征的权重大小？答：a. 通过计算每个特征在训练集下的信息增益，最后计算每个特征信息增益与所有特征信息增益之和的比例为权重值。b. 借鉴投票机制。用相同的gbdt参数对w每个特征训练出一个模型，然后在该模型下计算每个特征正确分类的个数，最后计算每个特征正确分类的个数与所有正确分类个数之和的比例为权重值。 xgboos
Gradient Boost是一个框架，里面可以套入很多不同的算法。GBDT是GB的一种情况， GBDT=Gradient Boost+Decision Tree 也就是梯度提升+决策树 GB：梯度迭代 Gradient Boosting Boosting 是一种集成方法。通过对弱分类器的组合得到强分类器，他是串行的，几个弱分类器之间是依次训练的。GBDT 的核心就在于，每一颗树学
转载
2024-03-18 20:14:04
206阅读
1. GBDT + LR 是什么本质上GBDT+LR是一种具有stacking思想的二分类器模型，所以可以用来解决二分类问题。这个方法出自于Facebook 2014年的论文 Practical Lessons from Predicting Clicks on Ads at Facebook 。2. GBDT + LR 用在哪GBDT+LR 使用最广泛的场景是CTR点击率预估
转载
2024-07-31 18:10:21
76阅读
1 IV的用途IV的全称是Information Value，中文意思是信息价值，或者信息量。我们在用逻辑回归、决策树等模型方法构建分类模型时，经常需要对自变量进行筛选。比如我们有200个候选自变量，通常情况下，不会直接把200个变量直接放到模型中去进行拟合训练，而是会用一些方法，从这200个自变量中挑选一些出来，放进模型，形成入模变量列表。那么我们怎么去挑选入模变量呢？挑选入模变量过程
转载
2024-06-28 14:26:16
18阅读
基于相关性分析和主成分分析的变量筛选方法基于相关性分析和主成分分析的变量筛选方法 - 作业部落 Cmd Markdown 编辑阅读器主成分分析法 指标筛选既然在课程专题四中讲到主成分分析法，那么这里再进一步介绍主成分分析法，概括起来说，主成分分析主要由以下几个方面的作用。主成分分析能降低所研究的数据空间的维数（降维）。即用研究m维的Y空间代替p维的X空间(m多维数据的一种图形表示方法（可
转载
2023-11-30 13:45:33
121阅读
由于《An Introduction to Statistical Learning with R》书中的方法书中的方法都是一些比较基础的方法，在做模拟实验以及真实超高维数据时，会出现很多局限性。因此本文后半部分介绍了课本上未提及到的一些方法。这些方法会在后面的模拟实验以及真实数据中进行应用，并且比较书上传统的方法与下述三种方法的真实变量筛选效果。首先介绍将范数与范数相结合的SCAD方法。SCAD
转载
2024-01-13 07:02:12
269阅读
写在最前由于《An Introduction to Statistical Learning with R》课程论文需要我们进行对一些变量筛选方法与降维的方法进行综述，所以这里将分几个部分，将学到的一些变量筛选方法写在博客之中。写成一篇长博客看得比较吃力，写的也比较慢，所以这里慢慢一部分一部分的来写。综述高维统计问题来自科学研究和技术发展的多个领域，在科学与人文等不同领域中变得越来越重要，从基因组
转载
2023-09-20 19:50:15
272阅读
缘起这篇博客的想法来源于知乎的一个关于多元线性回归的变量选择问题。从该问题的提问描述，以及回答中看出，很多人在做变量选择时，眼光依然局限于R 2
R2或者Ajusted−R 2
Ajusted−R2,以及P−Value
P−Value之中。记得计量课上，韩老师在讲到Ajusted−R
转载
2024-01-16 17:43:31
117阅读
风控建模二：变量筛选一 变量自身分布稳定性psi长期趋势图二 变量和目标值的强相关关系IV值变量数的选择三 变量和目标值相关关系的稳定性各个数据集上趋势一致变量预测效果不衰减变量预测方式不反转 好的模型变量直接决定着一个风险模型是否稳定和有效，而好的模型变量都具备以下三种特性： 1、变量自身的分布是随时间相对稳定的； 2、变量和目标值之间是有强相关关系的； 3、变量和目标值的强相关关系也是随时
转载
2023-10-04 20:28:16
122阅读
lasso的今世前身 引言 年关将至，少不了写年终总结。自己也绞尽脑汁对研读的统计文献做一个总结。我们来聊聊20年前诞生的lasso。lasso理论文章由统计学家Tibshirani, R在于1996年提出，并获得了里程碑式的影响。简单概述，lasso的目的就是选择合适的自变量。茫茫变量中怎么遇见合适的它。 此处说明下我们为什么要进行选变量这个动作？ -变量维数多并且变量之间存在相关
转载
2023-10-11 08:47:57
197阅读
特征选择在实际工程中，对于特征变量的选取，往往是基于业务经验，也就是所谓你的先验知识。现在数据的特征维度很多，而能作为训练集的样本量却往往远小于特征数量（如基因测序、文本分类）。特征选择的好处：便于理解和可视化数据，降低计算及存储压力，对抗维度灾难以提高模型预测准确率等等。特征选择的三类主流方法为：过滤式、包裹式、嵌入式。 一、过滤式变量排序就是一种典型的过滤式方法，该方法独
转载
2024-06-06 11:06:33
383阅读
1. GBDT+LR简介前面介绍的协同过滤和矩阵分解存在的劣势就是仅利用了用户与物品相互行为信息进行推荐， 忽视了用户自身特征， 物品自身特征以及上下文信息等，导致生成的结果往往会比较片面。 而这次介绍的这个模型是2014年由Facebook提出的GBDT+LR模型， 该模型利用GBDT自动进行特征筛选和组合， 进而生成新的离散特征向量， 再把该特征向量当做LR模型的输入， 来产生最后的预测结果，
转载
2024-06-18 04:21:48
66阅读
以前我个人的观念是，在线上运行的东西尽量不要记什么流水日志。 但是后来我变了，发现在线上记日志是一个绝对有必要的东西，尤其是在当下很流行的微服务的推动下，没有日志的帮助，犹如一个睁眼瞎，排查问题基本靠猜，这可不行。 那就打印记录每次的访问日志，尤其是访问接口时的参数及返回数据和耗费时间等，这是对自己将问题抛给上层及性能优化的依据。但是日志量应该是非常大的，一定要注意及时清理。 那么问题来
作者：Will Koehrsen 前戏 用这个工具可以高效的构建机器学习工作流程。一起来了解一下这个工具吧。特征选择是在数据集中寻找和选择最有用的特征的过程，是机器学习pipeline中的一个关键步骤。不必要的特征降低了训练速度，降低了模型的可解释性，最重要的是，降低了测试集的泛化性能。我发现自己一遍又一遍地为机器学习问题应用特别的特征选择方法，这让我感到沮丧，于是我在Python中构建了一个
转载
2023-08-24 23:30:30
234阅读
本系列博客聚焦于变量筛选的方法，所以前文中提及PCR与PLSR由于只能使数据进行降维，而不能进行变量选择，所以下面的模拟不使用这两种方法。模拟实验为了比较算法的优劣，我们构造了下列模拟（前两个是线性情况，后三个是非线性情况），其中部分参考现有文献中的构造，包含了线性和非线性的情况：其中，为示性函数，当时为1，否则为0；。，， 以及。同时设置。另外，，。由于最优子集选择等方法适用于维度不是非常高的
筛选变量在 Python 中的应用十分广泛，尤其是在数据处理与分析阶段。其重要性体现在通过条件判断和逻辑运算来选择需要的特定数据，从而在分析之前减少计算量，提高效率。下面将分享一个关于如何在 Python 中筛选变量的完整过程，涵盖环境配置、编译过程、参数调优等各个环节。
## 环境配置
在进行筛选变量的工作之前，首先需要搭建合适的环境。我们将使用 Python 的数据处理库，如 Pandas
笔记+R︱风控模型中变量粗筛（随机森林party包）+细筛（woe包） 本内容来源于CDA-DSC课程内容，原内容为《第16讲 汽车金融信用违约预测模型案例》。 建立违约预测模型的过程中，变量的筛选尤为重要。需要经历多次的筛选，在课程案例中通过了随机森林进行变量的粗筛，通过WOE转化+决策树模型进行变量细筛。一、变量粗筛——随机森林模型 与randomForest包不同之处在
转载
2024-05-13 09:46:18
194阅读
