数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。由此可见，特征工程在机器学习中占有相当重要的地位。在实际应用当中，可以说特征工程是机器学习成功的关键。那特征工程是什么？特征工程是利用数据领域的相关知识来创建能够使机器学习算法达到最佳性能的特征的过程。特征工程又包含了 Data PreProcessing（数据预处理）、Feature Extraction（特征提取）、Featur
转载
2023-08-25 10:03:10
0阅读
一般在建立分类模型时，当我们进行特征工程的工作经常需要对连续型变量进行离散化的处理，也就是将连续型字段转成离散型字段。离散化的过程中，连续型变量重新进行了编码。特征离散化后，模型会更稳定，降低了模型过拟合的风险。本文主要介绍3种常见的特征分箱方法： 分箱特点 连续型变量执行离散化的分箱操作，能够更加简洁地呈现数据信息消除特征变量的量纲影响，因为分箱之后都是类别数，例如：0,1,2...能够在一定
转载
2023-08-22 23:09:19
110阅读
# Python 特征分箱：从原始特征到可解释模型的桥梁
在数据分析和机器学习中，“特征”是影响模型预测结果的关键因素之一。为了提高模型的性能，很多时候我们需要对特征进行处理。其中，**特征分箱**（Binning）是一个常用且有效的技术。本文将介绍特征分箱的概念、应用，并提供 Python 代码示例，帮助大家理解并运用这一技巧。
## 什么是特征分箱？
特征分箱是将连续型特征转换为离散型特
原创
2024-08-19 07:58:58
122阅读
特征分箱 分箱的优点 分箱的好处主要有这些： 1、分箱后的特征对异常数据有更强的鲁棒性。比如年龄中有一个异常值为300，分箱之后就可能划到>80这一箱中，而如果直接入模的话会对模型造成很大干扰。 2、特征离散化之后，每个变量有单独的权重，可以为逻辑回归模型引入了非线性，能够提升模型表达能力，加大拟合 ...
转载
2021-09-29 23:55:00
636阅读
2评论
## 特征分箱woe python实现教程
### 1. 概述
在数据分析和建模中，特征分箱是一种常见的数据预处理技术，通过将连续型变量划分为若干个区间（箱子）来减少数据的噪音和复杂度。WOE（Weight of Evidence）是评估自变量与因变量之间关联性的指标，常用于评分卡模型的开发。本教程将指导你如何在Python中实现特征分箱和WOE转换。
### 2. 整体流程
```mer
原创
2024-03-25 06:00:17
114阅读
# Python 特征分箱后用什么值
## 概述
在数据处理和分析过程中，特征分箱是一种常用的技术，用于将连续型特征转化为离散型特征。分箱可以帮助我们处理异常值、数据稀疏性以及非线性关系等问题，使得模型更加稳定和可解释。
本文将介绍特征分箱的流程，并提供相应的代码示例，以帮助刚入行的小白理解和实现该过程。
## 特征分箱流程
特征分箱的流程可以分为以下几个步骤：
1. 数据预处理：包括数
原创
2023-12-22 07:35:59
47阅读
#!/usr/bin/python3
#python的基本语法和数据类型
#python3中 一行有多个语句,用分号分割(;)
print("aaa") ;print("bbb")
#基本数据类型,移除long类型
print(type(1))
print(type(1.0))
print(type("str"))
#允许多个变量连续赋值
a=b=c=1
print(a,b,c)
a,b,c
转载
2024-01-13 13:04:40
33阅读
一、概述因为基本数据类型的变量身上没有任何的方法和属性，所以针对基本数据类型提供了对应的类形式--包装类。 利用这个类产生对象，调用对象身上的方法来操作这个数据。二、分类 包装类分为以下几种：基本数据类型byteshortlongfloatdoublechar booleanint 包装类ByteShortLongFloatDoubleCharacter
转载
2023-07-15 20:48:15
58阅读
python_等频分箱_等距分箱data_temp = data# 分箱：
原创
2022-07-18 14:58:31
936阅读
参考：特征离散化（分箱）综述
原创
2022-07-18 10:54:54
95阅读
统计里面的卡方检验卡方检验主要是用来进行 分类变量（离散变量）的关联性、相关性分析，其根本思想就是在于比较理论频数和实际频数的吻合程度或拟合优度问题。在统计学里面最经典就是四方格检验，下面列举一个例子，让大家对卡方检验有一个真实的认识： 现在我们有一些样本，每个人是否喝牛奶，以及是否感冒，形式如下（只截图了一部分），现在我们想知道，是否喝牛奶 对 是否感冒有影响，根据我们的常识判断，喝牛奶可以增强
转载
2023-08-04 13:47:06
138阅读
背景介绍本文针对有一定基础的数据分析人员，专门想了解卡方分箱原理和寻找能直接运行的代码的人员。分箱是特征工程中常见的操作，也就是将某一个变量划分为多个区间，比如对年龄分箱，1-10岁，10-40岁，40+岁。卡方分箱就是用来寻找最优分割点的方法。本文介绍了卡方分箱原理、python代码、使用数据集（有数据集构造代码）测试分箱效果几个部分。 注：这里保证代码肯定可以直接运行，并附上了检验分箱原理的代
转载
2023-11-15 16:25:23
189阅读
卡方分箱卡方分箱原理数据分析与数据挖掘之四大分布三大检验python自带分箱函数 -- 无法实现对分类型数据的分箱，可借助卡方分箱算法实现import numpy as np
import pandas as pd
data = np.random.randint(100, size=(10000,))
#自定义分箱
#cut(x, bins, right=True,
转载
2023-06-12 20:46:17
423阅读
最近上传了一个变量分箱的方法到pypi，这个包主要有以下说明：缺失值单独一箱，不论缺失的数量多少；生成的分箱woe值是单调的，后续有时间会迭代U型分箱的版本；会有分箱最小样本数占比，类似决策树的最小叶节点占比；分箱成功的变量才会保留，有可能失败的情况是找不出同时满足上述2和3的分箱；增加了多进程，提升分箱速度除了Iv以外，增加变量切分的其他算法：alg_method = ‘iv’ , ‘gini’
转载
2023-06-19 16:46:50
264阅读
在数据科学与机器学习的过程中，特征工程作为提高模型效果的重要步骤，至关重要。特征工程包括特征选择、特征提取、特征构建等多个环节，对于数据分析师来说，对特征工程的良好掌握，能够极大地提高模型效果和预测能力。本文将详细记录“Python特征工程步骤”的相关内容，涵盖从环境准备到特征工程的关键步骤及技巧，帮助你在实践中更加得心应手。
## 环境准备
在进行特征工程之前，首先需要准备合适的环境。软硬件
# 使用卡方分箱进行数据分箱的Python实现
在数据分析和机器学习中，特征工程是至关重要的一步。卡方分箱（Chi-square Binning）是一种用于将数值型特征离散化的方法，可以帮助我们更好地理解数据并提高模型的预测能力。在这篇文章中，我将向你介绍如何利用Python进行卡方分箱的实现。我们将从整件事情的流程开始，逐步深入理解每一个步骤，并附上必要的代码和注释。
## 流程概述
以下
在机械学习中，我们经常会对数据进行分箱处理的操作， 也就是 把一段连续的值切分成若干段，每一段的值看成一个分类。这个把连续值转换成离散值的过程，我们叫做分箱处理。
比如，把年龄按15岁划分成一组，0-15岁叫做少年，16-30岁叫做青年，31-45岁叫做壮年。在这个过程中，我们把连续的年龄分成了三个类别，"少年"，"青年"和"壮年"就是各个类别的名称，或者叫做标签。
cu
转载
2023-10-18 17:40:35
149阅读
个人观点，信贷行业中，模型稳定性往往比模型效果更重要。信贷行业所做的任何规则、政策、模型的调整，都需要较长时间才能知道结果如何，模型迭代周期相较于其他行业可能更长，因此一个模型的稳定性至关重要。当然在模型迭代周期较短的场景下，可以去追求更好的模型效果，比如有些反欺诈场景，模型模型迭代快，模型可以快速及时调整。但对于大多数其他情况，无论是做评分卡还是机器学习，个人在实践中会为了稳定性牺牲掉一些效果。
转载
2023-06-09 14:22:27
182阅读
分箱操作就是将连续数据转换为分类对应物的过程。⽐如将连续的身⾼数据划分为：矮中⾼。分箱操作分为等距分箱和等频分箱。分箱操作也叫⾯元划分或者离散化。import numpy as np
import pandas as pd
df = pd.DataFrame(data = np.random.randint(0,150,size = (100,3)),
columns=['Python','T
转载
2023-06-29 20:54:37
206阅读
解决的问题： 1、实现了二分类的卡方分箱； 2、实现了最大分组限定停止条件，和最小阈值限定停止条件；问题，还不太清楚，后续补充。 1、自由度k,如何来确定，卡方阈值的自由度为 分箱数-1，显著性水平可以取10%，5%或1%算法扩展： 1、卡方分箱除了用阈值来做约束条件，还可以进一步的加入分箱数约束，以及最小箱占比，坏人率约束等。 2、需要实现更多分类的卡方分箱算法； 具体代码如下：# -
转载
2023-06-20 21:18:50
152阅读
