目录变量选择回顾单变量筛选通过模型选择变量变量选择进阶只用模型就能选好变量么数据处理模型介绍实验结果认识伪相关两步法估计 变量选择回顾符号说明： 特征数量变量选择在机器学习中扮演着重要的角色，无论是对于构建一个可解释的模型，还是提升模型的预测能力。单变量筛选在高维情况下，有时候我们需要预先筛选部分变量，然后再训练模型。筛选过程需要做到如下两点：计算复杂度不能太高不能丢掉真正起作用的变量简言之，就
转载
2024-05-06 19:14:39
67阅读
1 IV的用途IV的全称是Information Value，中文意思是信息价值，或者信息量。我们在用逻辑回归、决策树等模型方法构建分类模型时，经常需要对自变量进行筛选。比如我们有200个候选自变量，通常情况下，不会直接把200个变量直接放到模型中去进行拟合训练，而是会用一些方法，从这200个自变量中挑选一些出来，放进模型，形成入模变量列表。那么我们怎么去挑选入模变量呢？挑选入模变量过程
转载
2024-06-28 14:26:16
18阅读
基于相关性分析和主成分分析的变量筛选方法基于相关性分析和主成分分析的变量筛选方法 - 作业部落 Cmd Markdown 编辑阅读器主成分分析法 指标筛选既然在课程专题四中讲到主成分分析法，那么这里再进一步介绍主成分分析法，概括起来说，主成分分析主要由以下几个方面的作用。主成分分析能降低所研究的数据空间的维数（降维）。即用研究m维的Y空间代替p维的X空间(m多维数据的一种图形表示方法（可
转载
2023-11-30 13:45:33
121阅读
由于《An Introduction to Statistical Learning with R》书中的方法书中的方法都是一些比较基础的方法，在做模拟实验以及真实超高维数据时，会出现很多局限性。因此本文后半部分介绍了课本上未提及到的一些方法。这些方法会在后面的模拟实验以及真实数据中进行应用，并且比较书上传统的方法与下述三种方法的真实变量筛选效果。首先介绍将范数与范数相结合的SCAD方法。SCAD
转载
2024-01-13 07:02:12
269阅读
聊聊大家常说的数据分析： 数据收集：负责数据的收集 数据清洗：负责数据的筛选 数据分析：数据运算、整理 数据展示：图表或表格方式输出结果 shell脚本数据的处理 1）数据检索:grep tr cut 2）数据处理:uniq sort tee paste xargs 之前的脚本中我们都是通过grep ...
转载
2021-10-29 23:26:00
749阅读
2评论
egrep '^.{11}(WP)' inputfile | sort -k1.17,1.24 > outputfile WP 在12位开始.
转载
2017-10-20 17:21:00
197阅读
2评论
写在最前由于《An Introduction to Statistical Learning with R》课程论文需要我们进行对一些变量筛选方法与降维的方法进行综述，所以这里将分几个部分，将学到的一些变量筛选方法写在博客之中。写成一篇长博客看得比较吃力，写的也比较慢，所以这里慢慢一部分一部分的来写。综述高维统计问题来自科学研究和技术发展的多个领域，在科学与人文等不同领域中变得越来越重要，从基因组
转载
2023-09-20 19:50:15
272阅读
缘起这篇博客的想法来源于知乎的一个关于多元线性回归的变量选择问题。从该问题的提问描述，以及回答中看出，很多人在做变量选择时，眼光依然局限于R 2
R2或者Ajusted−R 2
Ajusted−R2,以及P−Value
P−Value之中。记得计量课上，韩老师在讲到Ajusted−R
转载
2024-01-16 17:43:31
117阅读
风控建模二：变量筛选一 变量自身分布稳定性psi长期趋势图二 变量和目标值的强相关关系IV值变量数的选择三 变量和目标值相关关系的稳定性各个数据集上趋势一致变量预测效果不衰减变量预测方式不反转 好的模型变量直接决定着一个风险模型是否稳定和有效，而好的模型变量都具备以下三种特性： 1、变量自身的分布是随时间相对稳定的； 2、变量和目标值之间是有强相关关系的； 3、变量和目标值的强相关关系也是随时
转载
2023-10-04 20:28:16
122阅读
lasso的今世前身 引言 年关将至，少不了写年终总结。自己也绞尽脑汁对研读的统计文献做一个总结。我们来聊聊20年前诞生的lasso。lasso理论文章由统计学家Tibshirani, R在于1996年提出，并获得了里程碑式的影响。简单概述，lasso的目的就是选择合适的自变量。茫茫变量中怎么遇见合适的它。 此处说明下我们为什么要进行选变量这个动作？ -变量维数多并且变量之间存在相关
转载
2023-10-11 08:47:57
197阅读
特征选择在实际工程中，对于特征变量的选取，往往是基于业务经验，也就是所谓你的先验知识。现在数据的特征维度很多，而能作为训练集的样本量却往往远小于特征数量（如基因测序、文本分类）。特征选择的好处：便于理解和可视化数据，降低计算及存储压力，对抗维度灾难以提高模型预测准确率等等。特征选择的三类主流方法为：过滤式、包裹式、嵌入式。 一、过滤式变量排序就是一种典型的过滤式方法，该方法独
转载
2024-06-06 11:06:33
383阅读
Hbase shell 操作（general、ddl、dml、Filter 过滤器）1、进入 Hbase 客户端2、help 命令3、general：普通命令组4、ddl：定义组4.1、列出所有表：list4.2、创建表：create4.3、查看表的详细信息：describe(desc)4.4、修改表的定义：alter4.4.1、增加一列簇4.4.2、删除一列簇4.5、查看表是否存在：exist
转载
2023-09-01 10:55:31
812阅读
以前我个人的观念是，在线上运行的东西尽量不要记什么流水日志。 但是后来我变了，发现在线上记日志是一个绝对有必要的东西，尤其是在当下很流行的微服务的推动下，没有日志的帮助，犹如一个睁眼瞎，排查问题基本靠猜，这可不行。 那就打印记录每次的访问日志，尤其是访问接口时的参数及返回数据和耗费时间等，这是对自己将问题抛给上层及性能优化的依据。但是日志量应该是非常大的，一定要注意及时清理。 那么问题来
本系列博客聚焦于变量筛选的方法，所以前文中提及PCR与PLSR由于只能使数据进行降维，而不能进行变量选择，所以下面的模拟不使用这两种方法。模拟实验为了比较算法的优劣，我们构造了下列模拟（前两个是线性情况，后三个是非线性情况），其中部分参考现有文献中的构造，包含了线性和非线性的情况：其中，为示性函数，当时为1，否则为0；。，， 以及。同时设置。另外，，。由于最优子集选择等方法适用于维度不是非常高的
Linux中的shell 表筛选功能是一种非常方便的方法，用于筛选、过滤和显示文本信息。在Linux系统中，shell是一个用于与操作系统进行交互的命令行解释器，用户可以通过shell来执行各种命令，操作文件和目录等。
在Linux中，有许多命令可以用来进行表筛选，例如grep、awk、sed等。这些命令可以根据用户的需求对文本进行不同的操作，比如查找特定的内容、替换文本、格式化输出等。
其中
原创
2024-04-12 10:56:03
84阅读
笔记+R︱风控模型中变量粗筛（随机森林party包）+细筛（woe包） 本内容来源于CDA-DSC课程内容，原内容为《第16讲 汽车金融信用违约预测模型案例》。 建立违约预测模型的过程中，变量的筛选尤为重要。需要经历多次的筛选，在课程案例中通过了随机森林进行变量的粗筛，通过WOE转化+决策树模型进行变量细筛。一、变量粗筛——随机森林模型 与randomForest包不同之处在
转载
2024-05-13 09:46:18
194阅读
在本文中，我将向大家介绍特征选择技巧：过滤法、包装法和嵌入法。特征选择是机器学习和数据挖掘中非常重要的一个环节，它可以帮助我们提取有价值的信息，降低计算复杂度，提高模型性能。通过本文，您将了解到这三种方法的原理和优缺点，并通过代码实例来展示它们在实际应用中的效果。 文章目录1. 什么是特征选择？2. 过滤法3. 包装法4. 嵌入法5. 代码实例 1. 什么是特征选择？特征选择，又称为属性选择或变量
转载
2024-08-12 14:46:40
355阅读
筛选变量在 Python 中的应用十分广泛，尤其是在数据处理与分析阶段。其重要性体现在通过条件判断和逻辑运算来选择需要的特定数据，从而在分析之前减少计算量，提高效率。下面将分享一个关于如何在 Python 中筛选变量的完整过程，涵盖环境配置、编译过程、参数调优等各个环节。
## 环境配置
在进行筛选变量的工作之前，首先需要搭建合适的环境。我们将使用 Python 的数据处理库，如 Pandas
这里使用两个真实数据进行前面所述方法的应用。真实数据在实际数据运用中，针对高维和超高维数据的情况，算法该如何使用？如何实现？这里我们使用两组数据，一组是课本中提到的Hitters数据，另一组是自己搜索整理而出的土耳其新闻数据。前者是数十维，后者则是上千维。课本Hitters数据课本中的案例实验是以Hitters数据为例，这里进行重现。数据简介这个数据集取自卡耐基梅隆大学的StatLi图书馆。这份统
转载
2023-11-07 11:58:41
316阅读
接着上次的笔记，此次笔记的任务是利用lasso回归建立预测模型并绘制列线图。在目前发表的论文中，lasso回归大都只是作为一种变量的筛选方法。首先通过lasso回归获得系数不为0的解释变量，再利用这些筛选到的变量进行多重回归建立预测模型，实际上这是relaxed lasso的一种特殊情况（γ=0）。这种做法用于预测问题不大，但一般不用于因果推断。我们也可以直接利用lasso回归的参数来建模预测，但
转载
2024-01-26 22:01:50
942阅读
