1. 卡方分箱-一种有监督分箱1.1 卡方检验卡方检验是对分类数据的频数进行分析的统计方法；用于分析分类变量和分类变量的关系（相关程度）；卡方检验分为优度检验和独立性检验。1.1.1 拟合优度检验拟合优度检验是对一个分类变量的检验，即根据总体的分布情况，计算出分类变量中各分类的期望频数，与分布的观测频数进行对比，判断期望频数与观察频数是否有显著差异。1.1.2 列联分析：独立性分析独立性检验对两个
转载
2024-01-06 23:59:21
186阅读
问题假设12个销售价格记录组已经排序如下：5, 10, 11, 13, 15,35, 50, 55, 72, 92, 204, 215 使用如下每种方法将它们划分成四个箱。等频（等深）划分时，15在第几个箱子内？等宽划分时在第几个箱？分箱问题分为有监督分箱和无监督分箱。无监督分箱等宽分箱 将变量的取值范围分为k个等宽的区间，每个区间当作一个分箱。
转载
2023-10-02 15:01:44
119阅读
one-hot 编码会将原始变量中的每个状态都做为作为一个新的特征，当原始特征状态较多时，数据经过one-hot编码之后特征数量会成倍的增加，同时新特征也会变得过于稀疏。在进行变量筛选的过程中，也会出现原始特征的一部分状态被筛选出来，另一部分状态未被筛选出来，造成特征的不完整。而WOE编码不仅可以解决以上这些问题，同时还可以将特征转化为线性。在建模中，需要对连续变量离散化，特征离散化后，模型会更稳
转载
2024-05-14 14:31:13
60阅读
# Python 等深分箱（Equal-Width Binning） 科普文章
## 引言
在数据分析和机器学习中，数据预处理是必不可少的一步。在这一过程中，如何将连续变量离散化（即分桶）是一个常见的需求。等深分箱（Equal-Width Binning）是一种常用的离散化方法，其核心思想是将数据划分为若干个相等宽度的区间。本文将深入探讨该方法的原理、优缺点，最后提供一个Python代码示例，
# Python中的等深分箱与等宽分箱详解
分箱（Binning）是将连续变量转换为分类变量的技术。在数据预处理和特征工程中，它能够有效地将数据集划分为不同的类别，便于模型的训练和评估。本文将结合具体的代码示例来教会你如何在Python中实现等深分箱和等宽分箱。
## 整体流程
在进行分箱之前，我们需要制定一个清晰的流程。下面是一个简要的步骤表格：
| 步骤 | 描述
文章目录python 等深分箱法（均值平滑技术、边界值平滑技术）理论学习实验及结果等深分箱法（均值平滑技术、边界值平滑技术）等宽分箱法（均值平滑技术、边界值平滑技术） python 等深分箱法（均值平滑技术、边界值平滑技术）理论学习首先，仔细了解熟悉掌握了等深分箱法，等宽分箱法，均值平滑技术，边界值平滑技术，看了好几个博客，个人觉得讲的最清晰明了，对我帮助最大的是数据挖掘如何分箱以及如何对每个箱
转载
2023-08-26 12:44:03
464阅读
# 使用Python实现等深分箱法
等深分箱法（Equal-Frequency Binning）是一种数据离散化的方法，主要用于数据预处理，尤其在分类算法中。它的核心思想是将连续变量划分为若干个区间，使得每个区间内的样本数量大致相等。今天，我将向你详细介绍如何用Python实现等深分箱法。
## 操作流程
我们将整个流程分为以下几个步骤：
| 步骤 | 描述
本文代码均已在 MATLAB R2019b 测试通过，如有错误，欢迎指正。 文章目录一、分箱平滑的原理二、Matlab代码实现1.等深分箱代码运行结果2.等宽分箱代码运行结果 一、分箱平滑的原理（1）分箱方法 在分箱前，一定要先排序数据，再将它们分到等深（等宽）的箱中。 常见的有两种分箱方法：等深分箱和等宽分箱。等深分箱：按记录数进行分箱，每箱具有相同的记录数，每箱的记录数称为箱的权重，也称箱子的
转载
2023-09-26 06:31:16
150阅读
1，箱形图的基本概念箱形图（盒形图、盒须图）的理解箱形图三种中Q1 Q2 Q3的计算方式三种：数据未分组按照从下到大的顺序计算。1）index正好是整数，直接计算 ；2）index是浮点数时，按照靠近的index左右权重比计算；3）向上累计和向下累计计算。2，分箱操作分箱操作是一种数据预处理的方法。目的：将连续变量离散化。无监督分箱：（1）等距离（等宽度）分箱：将变量的取值范围分为k个等宽的区间。
转载
2023-12-20 17:39:35
586阅读
# Python实现等深分箱的指南
在数据分析和处理的过程中，等深分箱（也称为等频分箱）是一种常见的技术。它将数据集按分位数进行分箱，使每个箱中的数据点数量趋于相等。本文将详细介绍如何使用Python实现等深分箱，包括具体步骤和代码示例。
## 实现流程
为了实现等深分箱，可以遵循以下步骤：
| 步骤 | 说明 |
|------|---------------
# Python中的等深分箱与等宽分箱切割
在数据分析和预处理阶段，特征工程是一个重要的步骤。特征的分箱（binning）能够将连续变量转换为类别变量，从而增强模型的性能与稳定性。在Python中，我们通常使用等深分箱和等宽分箱两种方法来进行数据的切割。本文将对此进行详细探讨，并提供代码示例。
## 等宽分箱与等深分箱
1. **等宽分箱（Equal Width Binning）**
《数据挖掘与机器学习》复习根据复习阶段遇到的题型列出比较可能考的知识点第1章 绪论这部分基本概念了解即可第2章 数据预处理光滑噪声数据的方法——分箱分箱的方法：有4种：等深分箱法、等宽分箱法、最小熵法和用户自定义区间法。数据平滑方法：有3种按平均值平滑、按边界值平滑和按中值平滑。分箱等深分箱 统一权重，也成等深分箱法，将数据集按记录行数分箱，每箱具有相同的记录数，每箱记录数称为箱子的深度。这是最简
转载
2023-10-20 16:40:22
2950阅读
分箱的几种方法 目标：不同分箱，目标属性相距应尽可能远，比如婴儿和老年在生理和心理上的特征区别明显。等深分箱 排序后，每一个分箱样本的个数是一样的，比如（1，2，3），（5，8，11）分箱个数都是3个。等宽分箱 排序后，每一个分箱所给定的区间划分长度是一样的。最优分享 分箱后标注差异大，比如聚类算法，同一个类别（分箱）之间差异尽可能小，不同类别之间差异尽可能大。业务分享 按照业务上已经成熟的观点、
转载
2023-10-28 11:09:34
400阅读
目前在信贷风险建模领域，评分卡建模是最常见的建模方式。为了让模型更加稳定，并且具备较强的识别好坏的能力及可解释性，分箱这一步必不可少。目前不管是python还是R,都有较为成熟的分箱工具，例如等频分箱，最优分箱，卡方分箱，KS分箱等等。但这些工具都是在小样本下，即行列都很少的情况下可以使用，难以处理千万级样本，数十万维特征的场景(例如反欺诈,营销等)，另外分箱后也不一定用于建模，可
转载
2024-03-13 22:12:37
44阅读
1 特征选择1. 1 概述特征选择是一种剔除与标注不相关或冗余的特征的方法，以减少特征集的维度和复杂性，并提高模型的性能和解释能力。特征选择的目标是选择那些对目标变量有预测能力且与其他特征不冗余的特征。特征选择的方法可以分为三类：（1）过滤式（Filter）特征选择：通过对特征进行评估，计算特征与目标变量之间的相关性或其他统计指标，然后根据设定的阈值选择特征。常见的方法包括相关系数、卡方检验、互信
转载
2024-07-31 16:44:15
70阅读
# 使用Python实现等深分箱法和等宽分箱法
在数据预处理阶段，特征工程是至关重要的一步。分箱（Binning）是数据处理中的一种技巧，能够将连续变量转换为类别变量，方便后续的分析和建模。本文将介绍两种常用的分箱方法：等宽分箱法和等深分箱法。我们将通过具体的代码示例来演示如何在Python中实现这两种方法。
## 流程概述
在实现分箱的过程中，我们需要遵循以下几个步骤。下面是一个简单的流程
# 数据分箱方法：等深分箱法与等宽分箱法
在数据预处理过程中，分箱（Binning）是一种常见的技术，用于将连续数据转换为分类数据。分箱能帮助简化模型，改善模型的泛化能力，并且有助于处理缺失值和异常值。今天，我们将介绍两种常见的分箱方法：等深分箱法和等宽分箱法，同时提供相应的Python代码示例。
## 等宽分箱法
等宽分箱法是将数据范围等分为若干个区间，每个区间的宽度相同。这种方法简单易懂
# 使用 Python 实现等深分箱
在数据科学和机器学习中，特征工程是非常重要的一个环节。而等深分箱（Equal Frequency Discretization）是一种将连续变量离散化的方法，它可以帮助我们将数据分成若干个区间，使得每个区间内的数据量相同。今天，我们将学习如何使用 Python 实现对 16 个数据进行等深分箱。
## 流程概述
整个流程可以分为以下几个步骤，下面的表格展
# 如何在 Python 中实现等深分箱
在数据处理与分析的过程中，分箱（Binning）是一个非常常见的步骤。等深分箱是将数据根据数值的分布划分为若干个区间，使得每个区间内的数据量基本相同。本文将详细介绍如何在 Python 中实现等深分箱，我们将通过具体步骤和代码示例来进行说明。
## 流程概述
下面是实现等深分箱的基本流程：
| 步骤 | 描述
Task3特征工程常见的特征工程包括：异常处理：通过箱线图（或 3-Sigma）分析删除异常值；BOX-COX 转换（处理有偏分布）；长尾截断；特征归一化/标准化：标准化（转换为标准正态分布）；归一化（抓换到 [0,1] 区间）；针对幂律分布，可以采用公式： log(1+x1+median)log(1+x1+median)数据分桶：等频分桶；等距分桶；Best-KS 分桶（类似利用基尼指
转载
2024-01-02 08:59:03
269阅读
