最近在做Python职位分析的项目，做这件事的背景是因为接触Python这么久，还没有对Python职位有一个全貌的了解。所以想通过本次分析了解Python相关的职位有哪些、在不同城市的需求量有何差异、薪资怎么样以及对工作经验有什么要求等等。分析的链路包括：数据采集数据清洗异常的创建时间异常的薪资水平异常的工作经验统计分析大盘数据单维度分析二维交叉分析多维钻取文本分析词云FP-Growth关联分析
一、变量赋值语法： 1、python中变量赋值不需要类型声明 2、每个变量在使用前都必须赋值，赋值以后该变量才会被创建 3、使用等号=来给变量赋值 4、允许多变量赋值：比如a = b = c = 1a , b , c = 1 , 'china' , 5二、变量命名规则1、小驼峰规则： 第一个单词的首字母小写，其余单词的首字母均大写，比如 theFirstOne 2、大驼峰规则： 所有单词的首字母大
转载
2023-08-21 19:35:17
66阅读
最近上传了一个变量分箱的方法到pypi，这个包主要有以下说明：缺失值单独一箱，不论缺失的数量多少；生成的分箱woe值是单调的，后续有时间会迭代U型分箱的版本；会有分箱最小样本数占比，类似决策树的最小叶节点占比；分箱成功的变量才会保留，有可能失败的情况是找不出同时满足上述2和3的分箱；增加了多进程，提升分箱速度除了Iv以外，增加变量切分的其他算法：alg_method = ‘iv’ , ‘gini’
转载
2023-06-19 16:46:50
264阅读
卡方分箱卡方分箱原理数据分析与数据挖掘之四大分布三大检验python自带分箱函数 -- 无法实现对分类型数据的分箱，可借助卡方分箱算法实现import numpy as np
import pandas as pd
data = np.random.randint(100, size=(10000,))
#自定义分箱
#cut(x, bins, right=True,
转载
2023-06-12 20:46:17
423阅读
背景介绍本文针对有一定基础的数据分析人员，专门想了解卡方分箱原理和寻找能直接运行的代码的人员。分箱是特征工程中常见的操作，也就是将某一个变量划分为多个区间，比如对年龄分箱，1-10岁，10-40岁，40+岁。卡方分箱就是用来寻找最优分割点的方法。本文介绍了卡方分箱原理、python代码、使用数据集（有数据集构造代码）测试分箱效果几个部分。 注：这里保证代码肯定可以直接运行，并附上了检验分箱原理的代
转载
2023-11-15 16:25:23
183阅读
个人观点，信贷行业中，模型稳定性往往比模型效果更重要。信贷行业所做的任何规则、政策、模型的调整，都需要较长时间才能知道结果如何，模型迭代周期相较于其他行业可能更长，因此一个模型的稳定性至关重要。当然在模型迭代周期较短的场景下，可以去追求更好的模型效果，比如有些反欺诈场景，模型模型迭代快，模型可以快速及时调整。但对于大多数其他情况，无论是做评分卡还是机器学习，个人在实践中会为了稳定性牺牲掉一些效果。
转载
2023-06-09 14:22:27
182阅读
分箱操作就是将连续数据转换为分类对应物的过程。⽐如将连续的身⾼数据划分为：矮中⾼。分箱操作分为等距分箱和等频分箱。分箱操作也叫⾯元划分或者离散化。import numpy as np
import pandas as pd
df = pd.DataFrame(data = np.random.randint(0,150,size = (100,3)),
columns=['Python','T
转载
2023-06-29 20:54:37
206阅读
# 使用卡方分箱进行数据分箱的Python实现
在数据分析和机器学习中，特征工程是至关重要的一步。卡方分箱（Chi-square Binning）是一种用于将数值型特征离散化的方法，可以帮助我们更好地理解数据并提高模型的预测能力。在这篇文章中，我将向你介绍如何利用Python进行卡方分箱的实现。我们将从整件事情的流程开始，逐步深入理解每一个步骤，并附上必要的代码和注释。
## 流程概述
以下
在机械学习中，我们经常会对数据进行分箱处理的操作， 也就是 把一段连续的值切分成若干段，每一段的值看成一个分类。这个把连续值转换成离散值的过程，我们叫做分箱处理。
比如，把年龄按15岁划分成一组，0-15岁叫做少年，16-30岁叫做青年，31-45岁叫做壮年。在这个过程中，我们把连续的年龄分成了三个类别，"少年"，"青年"和"壮年"就是各个类别的名称，或者叫做标签。
cu
转载
2023-10-18 17:40:35
149阅读
## Python对数字限制长度的实现
作为一名经验丰富的开发者，我很乐意教会刚入行的小白如何实现“Python对数字限制长度”。在本文中，我将为你展示整个实现过程，并提供每一步所需的代码和相应的注释。
首先，让我们来看一下整个实现过程的步骤。
| 步骤 | 描述 |
| ---- | ---- |
| 步骤1 | 获取用户输入的数字 |
| 步骤2 | 检查数字的长度是否超过限制 |
|
原创
2023-10-15 06:56:02
240阅读
# 在Python中对数字排序的完整指南
排序是我们在编程中常常需要的一个操作。在Python中，数字排序的方式非常简单，但理解其过程可以帮助我们更好地掌握编程的基本概念。本文将带领你逐步实现数字排序，并介绍相关代码和关键概念。
## 1. 整体工作流程
在开始我们要实现数字排序的代码之前，先了解我们将要进行的步骤。下面是一个简单的流程表，展示了我们要实现的每一步。
| 步骤 | 说明
解决的问题： 1、实现了二分类的卡方分箱； 2、实现了最大分组限定停止条件，和最小阈值限定停止条件；问题，还不太清楚，后续补充。 1、自由度k,如何来确定，卡方阈值的自由度为 分箱数-1，显著性水平可以取10%，5%或1%算法扩展： 1、卡方分箱除了用阈值来做约束条件，还可以进一步的加入分箱数约束，以及最小箱占比，坏人率约束等。 2、需要实现更多分类的卡方分箱算法； 具体代码如下：# -
转载
2023-06-20 21:18:50
152阅读
## Python分箱
### 什么是分箱
在数据分析和机器学习中，分箱（binning）是一种将连续变量划分为离散区间的方法。分箱的目的是为了简化模型，降低模型对噪音的敏感度，并且能够提高模型在非线性关系上的拟合能力。
分箱是数据预处理中的一种重要步骤，它可以解决以下问题：
1. 处理离群值（outliers）：将离群值归入特定区间，避免其对模型的影响。
2. 处理缺失值（missing
原创
2023-08-10 19:02:02
643阅读
解决的问题：1、实现了二分类的卡方分箱；2、实现了最大分组限定停止条件，和最小阈值限定停止条件；问题，还不太清楚，后续补充。1、自由度k,如何来确定，卡方阈值的自由度为 分箱数-1，显著性水平可以取10%，5%或1%算法扩展：1、卡方分箱除了用阈值来做约束条件，还可以进一步的加入分箱数约束，以及最小箱占比，坏人率约束等。2、需要实现更多分类的卡方分箱算法；具体代码如下：# -*- coding:
转载
2023-07-29 14:48:51
124阅读
使用Pandas对数值进行分箱操作的4种方法方法1：between & loc方法2：cut方法3：qcut方法4：value_counts补充材料 分箱是一种常见的数据预处理技术，有时也被称为 分桶或 离散化，可用于将连续数据的间隔分组到“箱”或“桶”中。在本文中将介绍如何使用 Python的Pandas库中的4种方法对数值进行分箱。 首先，创建示例数据框import pandas
转载
2023-07-25 22:47:33
201阅读
什么是分箱？简单点说就是将不同的东西，按照特定的条件放到一个指定容器里，比如水果 把绿色的放一个篮子里，红色一个篮子等等，这个篮子就是箱，而水果就是数据 颜色就是条件什么样式的数据要进行分箱数据主要分为连续变量和分类变量，分箱的操作主要针对于连续变量。为什么要对数据进行分箱操作稳定性，时间复杂度，看的舒服，提高准确度 等等分箱分为 有监督和无监督先说有监督，意思就是 个人确定范围区间
转载
2023-09-19 11:01:51
64阅读
使用 Pandas 的between 、cut、qcut 和 value_count离散化数值变量。分箱是一种常见的数据预处理技术有时也被称为分桶或离散化，他可用于将连续数据的间隔分组到“箱”或“桶”中。在本文中，我们将讨论使用 python Pandas 库对数值进行分箱的 4 种方法。我们创建以下合成数据用于演示import pandas as pd # version 1.3.5
impo
转载
2024-03-02 11:03:20
186阅读
什么叫分箱？连续变量的离散化处理。例如年龄：从1、2、3、4……100变成“1~20”、“21~30”差不多这个样子。问题场景（为什么要分箱）：不论是做业务分析还是建模前的特征工程，经常会遇到一个问题，连续变量需要分箱。且分箱会有一个诉求：分出来的组，对于目标指标（比如转化率）差异最大。业务分析中这样做的目的在于：一些连续变量对于最终结果指标的影响程度有更好的可解释性。比如客户的年龄与转化率相关性
转载
2023-09-04 22:39:40
283阅读
Python 中的数据结构是通过某种方式组织在一起的数据元素的集合，这些数据元素可以是数字、字符、甚至可以是其他数据结构
在 Python 中，最基本的数据结构是序列（列表和元组），序列中的每个元素都有一个序号（元素的具体位置），这个序号叫索引，索引下标从 0 开始，以此类推......列表俗称是 Python 中的苦力，列表可变（可以改变列表的内容）列表是最常用的 Python 数据类型，它可以
转载
2023-12-29 12:54:16
50阅读
Number 对象 在 JavaScript 中， Number 是一种基本的数据类型，它是原始数值的包装对象。在必要时，JavaScript 会自动地把原始数值转化成 Number 对象。构造函数 Number() 可以不与运算符 new 一起使用，而直接作为转化函数来使用。以这种方式调用 Number() 时，它会把自己的参数转化成一个数字，然后返回转换后的原始数值（或 NaN）。它
