目录一、PySpark简介使用场景结构体系二、PySpark集成搭建三、 PySpark的使用PySpark包介绍PySpark处理数据PySpark中使用匿名函数加载本地文件PySpark中使用SparkSQLSpark与Python第三方库混用Pandas DF与Spark DF使用PySpark通过图形进行数据探索 一、PySpark简介使用场景大数据处理或机器学习时的原型（ protot
转载
2023-08-05 11:51:05
286阅读
# 使用 PySpark 实现等频分箱
在数据分析中，分箱（Binning）是一种常见的预处理技术，它可将连续变量转换为分类变量。等频分箱是一种特殊的分箱方式，它将数据按照频率均衡地分成多个区间。在这篇文章中，我将教你如何在 PySpark 中实现等频分箱，我们将分为几个步骤进行。
## 流程概述
下面是实现等频分箱的步骤：
| 步骤 | 描述
浅谈基于MDLP算法的数据分箱技术
导语
在数学建模当中，有些算法(如Logistic Regression、Naive Bayes)需要将连续型变量进行分箱处理，这样做既可以消除奇异值带来的影响，同时也便于业务部门后期根据模型的结果进行客户细分。但是如果是使用传统的无监督数据分箱（例如等频、等距），效果往往不甚理想。今天小编就来介绍一种简单易操作的监督式分箱技术MDLP（最小描述长度准则）
转载
2023-10-23 09:59:52
10阅读
1、一级配电箱，其保护范围是低压电网的母线。就是指的总配电箱（变压器出线总断路器）。一般位于中小型城市、广大农村配电台区或配电房。一级箱柜采用下进下出线，一进多出。前开门，主母线采用铜排连接，接触良好，内置低压计量系统，要求防风、防雨且安全适合户外长期工作。2、二级配电箱；俗称中级保护。就是分支电箱，也叫分箱，一般负责一变压器多路输出的一条供电线路。二级箱采用内外门设计，
转载
2024-09-29 20:08:46
37阅读
python语言的一些高阶用法主要有以下几个特性：·generators生成器用法·collections包常见用法·itertools包常见用法
·packing/unpacking封包/解包特性
·Decorators装饰器
·Context Managers上下文管理期
以上几个特性我会针对应用场景，使用注意事项，应用举例几个维度分别进行讲解，如果有同学对某个特性特别熟悉则可以直接跳过。
g
# 使用卡方分箱进行数据分箱的Python实现
在数据分析和机器学习中，特征工程是至关重要的一步。卡方分箱（Chi-square Binning）是一种用于将数值型特征离散化的方法，可以帮助我们更好地理解数据并提高模型的预测能力。在这篇文章中，我将向你介绍如何利用Python进行卡方分箱的实现。我们将从整件事情的流程开始，逐步深入理解每一个步骤，并附上必要的代码和注释。
## 流程概述
以下
在机械学习中，我们经常会对数据进行分箱处理的操作， 也就是 把一段连续的值切分成若干段，每一段的值看成一个分类。这个把连续值转换成离散值的过程，我们叫做分箱处理。
比如，把年龄按15岁划分成一组，0-15岁叫做少年，16-30岁叫做青年，31-45岁叫做壮年。在这个过程中，我们把连续的年龄分成了三个类别，"少年"，"青年"和"壮年"就是各个类别的名称，或者叫做标签。
cu
转载
2023-10-18 17:40:35
149阅读
背景介绍本文针对有一定基础的数据分析人员，专门想了解卡方分箱原理和寻找能直接运行的代码的人员。分箱是特征工程中常见的操作，也就是将某一个变量划分为多个区间，比如对年龄分箱，1-10岁，10-40岁，40+岁。卡方分箱就是用来寻找最优分割点的方法。本文介绍了卡方分箱原理、python代码、使用数据集（有数据集构造代码）测试分箱效果几个部分。 注：这里保证代码肯定可以直接运行，并附上了检验分箱原理的代
转载
2023-11-15 16:25:23
183阅读
卡方分箱卡方分箱原理数据分析与数据挖掘之四大分布三大检验python自带分箱函数 -- 无法实现对分类型数据的分箱，可借助卡方分箱算法实现import numpy as np
import pandas as pd
data = np.random.randint(100, size=(10000,))
#自定义分箱
#cut(x, bins, right=True,
转载
2023-06-12 20:46:17
423阅读
最近上传了一个变量分箱的方法到pypi，这个包主要有以下说明：缺失值单独一箱，不论缺失的数量多少；生成的分箱woe值是单调的，后续有时间会迭代U型分箱的版本；会有分箱最小样本数占比，类似决策树的最小叶节点占比；分箱成功的变量才会保留，有可能失败的情况是找不出同时满足上述2和3的分箱；增加了多进程，提升分箱速度除了Iv以外，增加变量切分的其他算法：alg_method = ‘iv’ , ‘gini’
转载
2023-06-19 16:46:50
264阅读
个人观点，信贷行业中，模型稳定性往往比模型效果更重要。信贷行业所做的任何规则、政策、模型的调整，都需要较长时间才能知道结果如何，模型迭代周期相较于其他行业可能更长，因此一个模型的稳定性至关重要。当然在模型迭代周期较短的场景下，可以去追求更好的模型效果，比如有些反欺诈场景，模型模型迭代快，模型可以快速及时调整。但对于大多数其他情况，无论是做评分卡还是机器学习，个人在实践中会为了稳定性牺牲掉一些效果。
转载
2023-06-09 14:22:27
182阅读
1. 卡方分箱-一种有监督分箱1.1 卡方检验卡方检验是对分类数据的频数进行分析的统计方法；用于分析分类变量和分类变量的关系（相关程度）；卡方检验分为优度检验和独立性检验。1.1.1 拟合优度检验拟合优度检验是对一个分类变量的检验，即根据总体的分布情况，计算出分类变量中各分类的期望频数，与分布的观测频数进行对比，判断期望频数与观察频数是否有显著差异。1.1.2 列联分析：独立性分析独立性检验对两个
转载
2024-01-06 23:59:21
186阅读
1、聚合统计1.1描述统计#df.describe(),对数据的总体特征进行描述
df.groupby('team').describe()df.groupby('team').describe().T #列数太多，进行转置1.2统计函数#对分组对象直接使用统计函数，分组内数据进行计算，返回df形式的数据
#计算平均数
df.groupby('team').mean()#相关性系数
转载
2023-12-19 16:38:37
100阅读
分箱操作就是将连续数据转换为分类对应物的过程。⽐如将连续的身⾼数据划分为：矮中⾼。分箱操作分为等距分箱和等频分箱。分箱操作也叫⾯元划分或者离散化。import numpy as np
import pandas as pd
df = pd.DataFrame(data = np.random.randint(0,150,size = (100,3)),
columns=['Python','T
转载
2023-06-29 20:54:37
206阅读
前些日子，星球里讨论风控建模面试中的一些问题，其中就提到了 “卡方分箱”。大家对卡方分箱都有或多或少的疑问，应星球朋友要求，最近整理了一下我对卡方分箱的理解，也借此分享给公众号的朋友们。什么是分箱？说到分箱，可能很多朋友都非常熟悉，它是数据科学中常用到的一个技巧，意思就是将连续型的数据分成几个数据段，即离散化。很好理解，举个例子，比如将原本连续的年龄特征离散化，结果可变为0-18，18-30, 3
转载
2023-11-23 13:10:49
121阅读
one-hot 编码会将原始变量中的每个状态都做为作为一个新的特征，当原始特征状态较多时，数据经过one-hot编码之后特征数量会成倍的增加，同时新特征也会变得过于稀疏。在进行变量筛选的过程中，也会出现原始特征的一部分状态被筛选出来，另一部分状态未被筛选出来，造成特征的不完整。而WOE编码不仅可以解决以上这些问题，同时还可以将特征转化为线性。在建模中，需要对连续变量离散化，特征离散化后，模型会更稳
转载
2024-05-14 14:31:13
60阅读
目录等距分箱与等频分箱LightGBM分箱算法实现代码GreedyFindBinFindBinWithZeroAsOneBinGetBinsGetCodes 等距分箱与等频分箱在深度学习中，通常需要对连续特征进行离散化处理，这样可以使用嵌入向量表示特征。离散化处理的方法，常见的有等距分箱和等频分箱。等距分箱的缺点是，数据容易集中在某个区间内，导致编号基本相同，丢失大量信息。并且等距分箱通常需要一
转载
2023-09-04 13:06:07
469阅读
实现 Hive 分箱的流程如下：
1. 数据准备：首先，你需要准备一份包含数值型数据的 Hive 表，作为示例数据集。可以使用以下代码创建一个名为 `input_data` 的表，并插入一些示例数据。
```sql
-- 创建表
CREATE TABLE input_data (
id INT,
value DOUBLE
);
-- 插入示例数据
INSERT INTO input_
原创
2024-01-16 09:34:44
109阅读
无监督分箱：等频、等距有监督分箱：Bset KS分箱、chi2分箱、决策树分箱 一、chi2分箱关键词：卡方检验、卡方阈值、显著性水平、自由度什么是卡方检验？应用于哪些问题？（只应用与分类数据）应用方法？（拟合优度检验和独立性检验）什么是卡方分箱？（基于卡方检验的有监督的分箱方法）步骤(根据一个chi2 python计算代码总结的)：(1)人为确定最大分箱数（一般为5）。对连续变量排序。
转载
2023-07-10 09:46:57
274阅读
关于变量分箱主要分为两大类：有监督型和无监督型对应的分箱方法：A. 无监督：(1) 等宽 (2) 等频 (3) 聚类B. 有监督：(1) 卡方分箱法(ChiMerge) (2) ID3、C4.5、CART等单变量决策树算法 (3) 信用评分建模的IV最大化分箱 等本篇使用python，基于CART算法对连续变量进行最优分箱由于CART是决策树分类算法，所以相当于是单变量决策树分类。简单介绍下理论：
