• 连续属性离散化的目的是为了简化数据结构，数据离散化技术可以用来减少给定连续属性值的个数。离散化方法经常作为数据挖掘的工具。
  • 连续属性的离散化就是将连续属性的值域上，将值域划分为若干个离散的区间，最后用不同的符号或整数 值代表落在每个子区间中的属性值。

离散化有很多种方法，这使用一种最简单的方式去操作，例如：

  • 原始人的身高数据：165，174，160，180，159，163，192，184
  • 假设按照身高分几个区间段：150~165, 165~180,180~195

1、使用pd.qcut：对数据进行分组

data = pd.Series([0,8,1,5,3,7,2,6,10,4,9])

# qcut()方法第一个参数是数据, 第二个参数定义区间的分割方法, 比如这里把数字分成两半, 那就是[0, 0.5, 1]
# 如果要分成4份, 就是[0, 0.25, 0.5, 0.75, 1], 也可以不是均分, 比如[0, 0.1, 0.2, 0.3, 1], 这就就会按照1:1:1: 7
# 如果是小的数,值就变成'small number',大的数,值就变成'large number':
qcut = pd.qcut(data,[0,0.5,1],labels=['small number','large number'])

# 自行分组,分成10组
qcut = pd.qcut(data,10)
print(qcut)

# 统计分组次数
print(qcut.value_counts())

2、使用pd.cut(data, bins)自定义区间分组：

  • pd.cut(data, bins)
data = pd.Series([0,8,1,5,3,7,2,6,10,4,9])

# 自己指定分组区间
bins = [1, 2, 4,7,10]
counts = pd.cut(data, bins)
print(counts)
c = counts.value_counts()
print(c)

3、get_dummies实现哑变量矩阵

哑变量：也叫虚拟变量，引入哑变量的目的是，将不能狗定量处理的变量量化，如职业、性别对收入的影响，战争、自然灾害对GDP的影响，这种“量化”通常是通过引入“哑变量”来完成的。根据这些因素的属性类型，构造只取“0”或“1”的人工变量

1、离散特征的取值之间没有大小的意义，比如color：[red,blue],那么就使用one-hot编码

2、离散特征的取值有大小的意义，比如size:[X,XL,XXL],那么就使用数值的映射{X:1,XL:2,XXL:3}

df = pd.DataFrame([
    ['green', 'M', 10.1, 'class1'],
    ['red', 'L', 13.5, 'class2'],
    ['blue', 'XL', 15.3, 'class1']])

df.columns = ['color', 'size', 'prize', 'class label']

size_mapping = {
    'XL': 3,
    'L': 2,
    'M': 1}
df['size'] = df['size'].map(size_mapping)
#
class_mapping = {label: idx for idx, label in enumerate(set(df['class label']))}
df['class label'] = df['class label'].map(class_mapping)
print(df)
print(pd.get_dummies(df))