1.确定业务目标2.数据获取 自有数据、爬虫数据3.数据检验 唯一性（去重）、样本完整性（样本分布不能偏离总体分布太远）、取值范围、异常值（极值、错误的数值等）4.变量选择（数据清洗） 选择具有预测能力的自变量。在做自变量的选择时，需要做数据的探索（这要依靠个人经验和统计学的基础知识），如查看各个自变量的统计特征和分布、自变量之间或自变量和因变量之间是否存在相关性
转载
2024-07-31 16:24:14
98阅读
前面提到，这里介绍的变量筛选的方法全部是基于《An Introduction to Statistical Learning with R》书中的方法，所以这里先开始介绍课本上的变量筛选方法，然后再进行延伸。课本上数据降维方法标准的回归模型定义为： 其中自变量为，维度为维，因变量为。首先介绍子集选择法。子集选择法（Subset Selection）在子集选择法中，每一个自变量的子集会对应一个模型，
信用评分卡模型在国外是一种成熟的预测方法，尤其在信用风险评估以及金融风险控制领域更是得到了比较广泛的使用，其原理是将模型变量WOE编码方式离散化之后运用logistic回归模型进行的一种二分类变量的广义线性模型。 本文重点介绍模型变量WOE以及IV原理，为表述方便，本文将模型目标标量为1记为违约用户，对于目标变量为0记为正常用户
《Python金融大数据风控建模实战》 第8章 Logistic回归模型本章引言Python代码实现及注释 本章引言Logistic回归是建立评分卡模型最常用的方法，因其具有输出概率、可解释性好和模型参数少等优势，即使在其他各种机器学习算法突飞猛进的情况下，也仍然是工业界建立评分卡模型的主流方法，其模型表现也常作为参考标准，用于衡量其他机器学习模型的效果。Python代码实现及注释# 第8章：l
转载
2023-11-09 01:19:03
118阅读
1 IV的用途IV的全称是Information Value，中文意思是信息价值，或者信息量。我们在用逻辑回归、决策树等模型方法构建分类模型时，经常需要对自变量进行筛选。比如我们有200个候选自变量，通常情况下，不会直接把200个变量直接放到模型中去进行拟合训练，而是会用一些方法，从这200个自变量中挑选一些出来，放进模型，形成入模变量列表。那么我们怎么去挑选入模变量呢？挑选入模变量过程
转载
2024-06-28 14:26:16
18阅读
筛选变量在 Python 中的应用十分广泛，尤其是在数据处理与分析阶段。其重要性体现在通过条件判断和逻辑运算来选择需要的特定数据，从而在分析之前减少计算量，提高效率。下面将分享一个关于如何在 Python 中筛选变量的完整过程，涵盖环境配置、编译过程、参数调优等各个环节。
## 环境配置
在进行筛选变量的工作之前，首先需要搭建合适的环境。我们将使用 Python 的数据处理库，如 Pandas
缘起这篇博客的想法来源于知乎的一个关于多元线性回归的变量选择问题。从该问题的提问描述，以及回答中看出，很多人在做变量选择时，眼光依然局限于R 2
R2或者Ajusted−R 2
Ajusted−R2,以及P−Value
P−Value之中。记得计量课上，韩老师在讲到Ajusted−R
转载
2024-01-16 17:43:31
117阅读
lasso的今世前身 引言 年关将至，少不了写年终总结。自己也绞尽脑汁对研读的统计文献做一个总结。我们来聊聊20年前诞生的lasso。lasso理论文章由统计学家Tibshirani, R在于1996年提出，并获得了里程碑式的影响。简单概述，lasso的目的就是选择合适的自变量。茫茫变量中怎么遇见合适的它。 此处说明下我们为什么要进行选变量这个动作？ -变量维数多并且变量之间存在相关
转载
2023-10-11 08:47:57
195阅读
利用pandas筛选数据直接筛选函数筛选 直接筛选比较运算符(==、<、>、>=、<=、!=)逻辑运算符 &（与）、|（或）、~（非），使用比较运算符时，请将每个条件括在括号内。运算符的优先级是NOT（〜），AND（＆），OR（|）。读取数据import os
import pandas as pd
import numpy as np
#读取文件
def rea
# Python 筛选指定变量
Python 是一种高级编程语言，它具有简单易学、功能强大、可扩展性强等优点，因此在数据处理和分析领域得到广泛应用。在数据处理中，经常会遇到需要从一组数据中筛选出符合特定条件的变量的情况。本文将介绍如何使用 Python 对变量进行筛选，并提供相应代码示例。
## 筛选列表中的变量
首先，我们假设有一个包含数字的列表，我们需要从中筛选出大于等于 5 的变量。以
原创
2024-01-30 09:52:54
70阅读
# LASSO 变量筛选在 Python 中的实现
在数据科学的工作中，变量筛选是一个重要的步骤，尤其是在进行回归分析之前。LASSO（Least Absolute Shrinkage and Selection Operator）是一种有效的变量筛选方法，它通过对回归模型的惩罚项来选择重要的变量。本文将带你通过简单的步骤来实现 LASSO 变量筛选的过程，并用代码和可视化形式展示每一步。
#
## 使用Lasso方法筛选变量（Python指南）
Lasso（Least Absolute Shrinkage and Selection Operator）是一种用于线性回归的正则化技术，能够通过惩罚项使得某些系数变为零，进而实现特征选择。今天，我将教你如何在Python中实现Lasso筛选变量的步骤。
### 流程概览
下面是一个简要的步骤流程表：
```markdown
| 步骤
目录变量选择回顾单变量筛选通过模型选择变量变量选择进阶只用模型就能选好变量么数据处理模型介绍实验结果认识伪相关两步法估计 变量选择回顾符号说明： 特征数量变量选择在机器学习中扮演着重要的角色，无论是对于构建一个可解释的模型，还是提升模型的预测能力。单变量筛选在高维情况下，有时候我们需要预先筛选部分变量，然后再训练模型。筛选过程需要做到如下两点：计算复杂度不能太高不能丢掉真正起作用的变量简言之，就
转载
2024-05-06 19:14:39
63阅读
变量存储在内存中的值。这就意味着在创建变量时会在内存中开辟一个空间。 基于变量的数据类型，解释器会分配指定内存，并决定什么数据可以被存储在内存中。 因此，变量可以指定不同的数据类型，这些变量可以存储整数，小数或字符。变量赋值 Python 中的变量赋值不需要类型声明。 每个变量在内存中创建，都包括变量的标识，名称和数据这些信息。 每个变量在使用前都必须赋值，变量赋值以后该变量才会被创建。 等号（=
转载
2023-10-11 06:59:02
194阅读
接着上次的笔记，此次笔记的任务是利用lasso回归建立预测模型并绘制列线图。在目前发表的论文中，lasso回归大都只是作为一种变量的筛选方法。首先通过lasso回归获得系数不为0的解释变量，再利用这些筛选到的变量进行多重回归建立预测模型，实际上这是relaxed lasso的一种特殊情况（γ=0）。这种做法用于预测问题不大，但一般不用于因果推断。我们也可以直接利用lasso回归的参数来建模预测，但
转载
2024-01-26 22:01:50
942阅读
我们学过的最经典的估计线性模型的系数的方法，叫做“最小二乘法”。除了“最小二乘法”，其实还有其他方法可以用于模型系数的拟合，这些方法是对于简单线性模型的改进。这一章主要讨论的有三类重要的方法：子集选择（最优子集选择、逐步模型选择）：假设我们原来的模型一共有
个变量，那么我将从这
个变量中选出与响应变量相关的
个变
转载
2024-06-06 21:46:14
68阅读
基于相关性分析和主成分分析的变量筛选方法基于相关性分析和主成分分析的变量筛选方法 - 作业部落 Cmd Markdown 编辑阅读器主成分分析法 指标筛选既然在课程专题四中讲到主成分分析法，那么这里再进一步介绍主成分分析法，概括起来说，主成分分析主要由以下几个方面的作用。主成分分析能降低所研究的数据空间的维数（降维）。即用研究m维的Y空间代替p维的X空间(m多维数据的一种图形表示方法（可
转载
2023-11-30 13:45:33
121阅读
特征筛选分类问题中筛选与离散标签相关性较强的连续变量——方差分析基本流程代码实现相关内容特征筛选（关键）回归问题中筛选与连续标签呈线性关系的连续变量——F检验（f_regression）计算过程特征筛选（关键）互信息法（mutual information）离散变量的互信息计算连续变量的互信息计算连续变量与离散变量的互信息计算最近邻计算函数计算过程（关键） 分类问题中筛选与离散标签相关性较强的连
转载
2024-06-01 14:20:20
88阅读
由于《An Introduction to Statistical Learning with R》书中的方法书中的方法都是一些比较基础的方法，在做模拟实验以及真实超高维数据时，会出现很多局限性。因此本文后半部分介绍了课本上未提及到的一些方法。这些方法会在后面的模拟实验以及真实数据中进行应用，并且比较书上传统的方法与下述三种方法的真实变量筛选效果。首先介绍将范数与范数相结合的SCAD方法。SCAD
转载
2024-01-13 07:02:12
269阅读
变量：Python 是动态类型语言， 也就是说不需要预先声明变量的类型。变量是对象的引用，变量只是将指针指向了对象所在的内存地址。变量的类型和值在赋值那一刻被初始化。
变量起名：
1.显式-->通俗易懂
2.nums_of_alex_gf = 19
3.NumsOfAlexGf = 20 驼峰写法
4.中横线不能作为变量的命名字符
5.数字不能作为
转载
2023-06-20 14:13:33
100阅读
