解决的问题：1、实现了二分类的卡方分箱；2、实现了最大分组限定停止条件，和最小阈值限定停止条件；问题，还不太清楚，后续补充。1、自由度k,如何来确定，卡方阈值的自由度为 分箱数-1，显著性水平可以取10%，5%或1%算法扩展：1、卡方分箱除了用阈值来做约束条件，还可以进一步的加入分箱数约束，以及最小箱占比，坏人率约束等。2、需要实现更多分类的卡方分箱算法；具体代码如下：# -*- coding:
转载
2023-08-14 14:37:40
145阅读
one-hot 编码会将原始变量中的每个状态都做为作为一个新的特征，当原始特征状态较多时，数据经过one-hot编码之后特征数量会成倍的增加，同时新特征也会变得过于稀疏。在进行变量筛选的过程中，也会出现原始特征的一部分状态被筛选出来，另一部分状态未被筛选出来，造成特征的不完整。而WOE编码不仅可以解决以上这些问题，同时还可以将特征转化为线性。在建模中，需要对连续变量离散化，特征离散化后，模型会更稳
转载
2023-08-04 12:49:08
232阅读
深度学习前沿
作为机器学习从业者，你需要知道概率分布相关的知识。这里有一份最常见的基本概率分布教程，大多数和使用 python 库进行深度学习有关。一 概率分布概述 共轭意味着它有共轭分布的关系。
在贝叶斯概率论中，如果后验分布 p（θx）与先验概率分布 p（θ）在同一概率分布族中，则先验和后验称为共轭分布，先验称为似然函数的共轭先验。共轭
# 使用卡方分箱进行数据分箱的Python实现
在数据分析和机器学习中，特征工程是至关重要的一步。卡方分箱（Chi-square Binning）是一种用于将数值型特征离散化的方法，可以帮助我们更好地理解数据并提高模型的预测能力。在这篇文章中，我将向你介绍如何利用Python进行卡方分箱的实现。我们将从整件事情的流程开始，逐步深入理解每一个步骤，并附上必要的代码和注释。
## 流程概述
以下
前些日子，星球里讨论风控建模面试中的一些问题，其中就提到了 “卡方分箱”。大家对卡方分箱都有或多或少的疑问，应星球朋友要求，最近整理了一下我对卡方分箱的理解，也借此分享给公众号的朋友们。什么是分箱？说到分箱，可能很多朋友都非常熟悉，它是数据科学中常用到的一个技巧，意思就是将连续型的数据分成几个数据段，即离散化。很好理解，举个例子，比如将原本连续的年龄特征离散化，结果可变为0-18，18-30, 3
转载
2023-11-23 13:10:49
121阅读
统计学，风控建模经常遇到卡方分箱算法ChiMerge。卡方分箱在金融信贷风控领域是逻辑回归评分卡的核心，让分箱具有统计学意义（单调性）。卡方分箱在生物医药领域可以比较两种药物或两组病人是否具有显著区别。但很多建模人员搞不清楚卡方分箱原理。先给大家介绍一下经常被提到的卡方分布和卡方检验是什么。欢迎各位同学学习更多相关知识python金融风控评分卡模型和数据分析：一、卡方分布卡方分布(chi-squa
转载
2024-05-13 18:35:38
78阅读
import sys
import numpy as np
import pandas as pd
import math
import os
from tqdm import tqdm
pd.set_option('display.float_format', lambda x: '%.3f' % x)
"""
1.自定义缺失值处理函数
1.1 缺失值计算
"""
def
转载
2024-04-09 16:10:02
70阅读
by Diwei Liu在原文基础上有改动。一、步骤简介先把原始数据导入， 转化为m*n的矩阵，命名为XMat，再提取k个主成分，最后进行可视化。数据标准化、消除量纲影响。本例用x-E(x)做简化处理计算协方差矩阵。计算特征值和特征向量。保留最重要、即最大的k个特征值和其对应的特征向量。（通常k<n）将m·n的矩阵，乘以n*k的特征向量，最后得到降维数据，作图输出。– 行：代表sample，
转载
2024-07-21 16:46:58
72阅读
# 卡方分箱及其在Python中的应用
卡方分箱是一种常用的特征离散化方法，它可以将连续型变量转化为离散型变量，并保留了原始变量的信息。这种方法适用于解决回归、分类和特征选择等问题。
## 什么是卡方分箱
卡方分箱是一种基于统计学原理的特征离散化方法，它通过将连续型变量划分为若干个离散的区间（或称为箱子），来减少变量的取值情况，并降低了变量的复杂度。卡方分箱的基本思想是：将连续型变量划分为K
原创
2023-07-18 09:29:32
826阅读
卡方分箱卡方分箱是自底向上的(即基于合并的)数据离散化方法。它依赖于卡方检验:具有最小卡方值的相邻区间合并在一起,直到满足确定的停止准则。基本思想:对于精确的离散化，相对类频率在一个区间内应当完全一致。因此,如果两个相邻的区间具有非常类似的类分布，则这两个区间可以合并；否则，它们应当保持分开。而低卡方值表明它们具有相似的类分布。这里需要注意初始化时需要对实例进行排序，在排序的基础上进行合并。卡方阈
转载
2024-08-07 11:20:39
76阅读
特征工程之特征分箱：决策树分箱、卡方分箱、bestks以及评价标准1.WOE和IV 2.无监督分箱 2.1等频分箱 2.2等距分箱 3.有监督分箱 3.1决策树分箱 3.2best-ks分箱 3.3卡方分箱前言：在做数据挖掘项目的时候，特征工程通常是其中非常重要的一个环节，但是难度也比较高，并且不同项目特征工程会有所差异，因此在做相关项目时可以多总结一些对结果提升比较明显的操作，近期做了一下天池上
特征工程之特征分箱：决策树分箱、卡方分箱、bestks以及评价标准1.WOE和IV2.无监督分箱2.1等频分箱2.2等距分箱3.有监督分箱3.1决策树分箱3.2best-ks分箱3.3卡方分箱 前言：在做数据挖掘项目的时候，特征工程通常是其中非常重要的一个环节，但是难度也比较高，并且不同项目特征工程会有所差异，因此在做相关项目时可以多总结一些对结果提升比较明显的操作，近期做了一下天池上面的入门
转载
2023-08-29 19:07:49
1125阅读
点赞
差异研究的目的在于比较两组数据或多组数据之间的差异，通常包括以下几类分析方法，分别是方差分析、T检验和卡方检验。三个方法的区别其实核心的区别在于：数据类型不一样。如果是定类和定类，此时应该使用卡方分析；如果是定类和定量，此时应该使用方差或者T检验。方差和T检验的区别在于，对于T检验的X来讲，其只能为2个类别比如男和女。如果X为3个类别比如本科以下，本科，本科以上；此时只能使用方差分析。进一步细分三
# Python 卡方分箱方法详解
数据分析中，对特征进行合理的处理是模型成功的关键之一。在特征处理中，“分箱”是一种常用的手段。本文将重点介绍卡方分箱方法，及其在Python中的实现。
## 什么是卡方分箱？
卡方分箱是一种将连续变量转换为分类变量的技术。它主要用于二分类问题，目的是将特征分为若干箱（区间），以增强特征与目标变量之间的关联性。通过这种方法，我们利用统计学中的卡方检验来评估每
## Python中卡方分箱实现教程
### 概述
在数据分析中，卡方分箱是一种常用的特征离散化方法，通过卡方检验来确定最优的分箱方式。在Python中，我们可以使用`pandas`和`scipy`库来实现卡方分箱的功能。下面我将详细介绍如何在Python中实现卡方分箱，希望能帮助你更好地理解和应用这一方法。
### 流程图
```mermaid
flowchart TD
A(准备数据
原创
2024-05-18 04:29:01
87阅读
主成分分析（PCA）是多元统计分析中用来分析数据的一种方法，它是用一种较少数量的特征对样本进行描述以达到降低特征空间维数的方法，它的本质实际上是K-L变换。PCA方法最著名的应用应该是在人脸识别中特征提取及数据维，我们知道输入200*200大小的人脸图像，单单提取它的灰度值作为原始特征，则这个原始特征将达到40000维，这给后面分类器的处理将带来极大的难度。著名的人脸识别Eigenface算法就是
# 在Python中使用qcut进行卡方分箱
在数据分析中，分箱是一种常用的技术，特别是对于数值型变量的处理。卡方分箱（Chi-Square Binning）是一种基于统计检验的分箱方法，旨在优化类别间的差异性。在Python中，借助`pandas`库受欢迎的`qcut`函数和卡方检验，可以高效地进行分箱处理。本文将介绍如何在Python中进行卡方分箱，并提供相应的代码示例。
## 什么是卡方
# 卡方分箱 Python 代码实现
## 1. 整体流程
下面是实现卡方分箱的整体流程：
| 步骤 | 描述 |
| ---- | ---- |
| 1 | 数据准备 |
| 2 | 数据预处理 |
| 3 | 卡方分箱 |
| 4 | 检验分箱结果 |
| 5 | 分箱后的数据转换 |
接下来，我将逐步介绍每个步骤所需要做的事情以及相应的代码。
## 2. 数据准备
在进行卡方分箱
原创
2023-10-11 09:46:40
263阅读
EM算法实例通过实例可以快速了解EM算法的基本思想，具体推导请点文末链接。图a是让我们预热的，图b是EM算法的实例。这是一个抛硬币的例子，H表示正面向上，T表示反面向上，参数θ表示正面朝上的概率。硬币有两个，A和B，硬币是有偏的。本次实验总共做了5组，每组随机选一个硬币，连续抛10次。如果知道每次抛的是哪个硬币，那么计算参数θ就非常简单了，如下图所示：如果不知道每次抛的是哪个硬币呢？那么，我们就需
# Python卡方分箱包
## 简介
卡方分箱是一种常用的数据预处理方法，用于将连续变量转换为离散变量。它通过将连续变量分割成一些互斥且连续的区间（箱子），将原始数据映射到这些区间中，从而实现对连续变量的离散化处理。Python中有很多强大的卡方分箱包，本文将介绍其中一种常用的卡方分箱包并提供使用示例。
## 包介绍
在Python中，有很多用于卡方分箱的包，例如：
- Scikit-
原创
2023-11-14 06:53:53
469阅读
