决策树

  • 决策树
  • 定义
  • 决策树
  • 概念
  • 条件熵
  • 经验熵, 经验条件熵
  • 信息增益
  • 算法
  • 信息增益算法
  • ID3算法
  • C4.5生成
  • 树的剪枝

  • 最小二乘回归树生成
  • CART分类树生成
  • 实现以及统计学习书上实例
  • 信息增益
  • 算法实现
  • 训练数据
  • 打印树

决策树

定义

决策树

  1. 分类决策树模型是表示基于特征对实例进行分类的树形结构。决策树可以转换成一个if-then规则的集合,也可以看作是定义在特征空间划分上的类的条件概率分布
  2. 决策树学习旨在构建一个与训练数据拟合很好,并且复杂度小的决策树。因为从可能的决策树中直接选取最优决策树是NP完全问题。现实中采用启发式方法学习次优的决策树。决策树学习算法包括3部分:特征选择、树的生成和树的剪枝。常用的算法有ID3、 C4.5和CART。
  3. 特征选择的目的在于选取对训练数据能够分类的特征。特征选择的关键是其准则。常用的准则如下:
  • 样本集合 𝐷 对特征 𝐴 的信息增益(ID3)
  • 机器学习从入门到精通——决策树算法概述以及实现总结_信息增益

  • 其中,
  • 机器学习从入门到精通——决策树算法概述以及实现总结_机器学习_02

  • 是数据集
  • 机器学习从入门到精通——决策树算法概述以及实现总结_机器学习_03

  • 的樀,
  • 机器学习从入门到精通——决策树算法概述以及实现总结_机器学习_04

  • 是数据集
  • 机器学习从入门到精通——决策树算法概述以及实现总结_算法_05

  • 的熵,
  • 机器学习从入门到精通——决策树算法概述以及实现总结_信息增益_06

  • 是数据集
  • 机器学习从入门到精通——决策树算法概述以及实现总结_机器学习_03

  • 对特征
  • 机器学习从入门到精通——决策树算法概述以及实现总结_信息增益_08

  • 的条件熵。
  • 机器学习从入门到精通——决策树算法概述以及实现总结_算法_05

  • 机器学习从入门到精通——决策树算法概述以及实现总结_机器学习_03

  • 中特征
  • 机器学习从入门到精通——决策树算法概述以及实现总结_信息增益_08

  • 取第
  • 机器学习从入门到精通——决策树算法概述以及实现总结_机器学习_12

  • 个值的样本子集,
  • 机器学习从入门到精通——决策树算法概述以及实现总结_d3_13

  • 机器学习从入门到精通——决策树算法概述以及实现总结_机器学习_03

  • 中属于第
  • 机器学习从入门到精通——决策树算法概述以及实现总结_信息增益_15

  • 类 的样本子集。
  • 机器学习从入门到精通——决策树算法概述以及实现总结_信息增益_16

  • 是特征
  • 机器学习从入门到精通——决策树算法概述以及实现总结_信息增益_08

  • 取 值的个数,
  • 机器学习从入门到精通——决策树算法概述以及实现总结_算法_18

  • 是卖的个数。
    2.样本犨合
  • 机器学习从入门到精通——决策树算法概述以及实现总结_机器学习_03

  • 对特征
  • 机器学习从入门到精通——决策树算法概述以及实现总结_信息增益_08

  • 的信自增益比 (C4.5)
  • 机器学习从入门到精通——决策树算法概述以及实现总结_d3_21

  • 其中,
  • 机器学习从入门到精通——决策树算法概述以及实现总结_决策树_22

  • 是信自增益,
  • 机器学习从入门到精通——决策树算法概述以及实现总结_机器学习_02

  • 是数据集
  • 机器学习从入门到精通——决策树算法概述以及实现总结_机器学习_03

  • 的熵。
    3.样本集合
  • 机器学习从入门到精通——决策树算法概述以及实现总结_机器学习_03

  • 的基尼指数 (CART)
  • 机器学习从入门到精通——决策树算法概述以及实现总结_机器学习_26

  • 特征
  • 机器学习从入门到精通——决策树算法概述以及实现总结_信息增益_08

  • 条件下集合
  • 机器学习从入门到精通——决策树算法概述以及实现总结_机器学习_03

  • 的基尼指数:
  • 机器学习从入门到精通——决策树算法概述以及实现总结_d3_29

  • 4.决策树的生成。通常使用信息增益最大、信息增益比最大或基尼指数最小作为特征选择的准则。决策树的生成往往通过计算信息增益或其他指标,从根结点开 始,递归地产生决策树。这相当于用信自增益或其他准则不断地选取局部最优的特征,或将圳练集分割为能够基本正确分类的子集。
    5.决策树的剪枝。由于生成的决策树存在过拟合问题,需要对它进行剪枝,以简化学到的决策树。决策树的剪枝,往往从已生成的树上剪掉一些叶结点叶结点 以上的子树,并将其父结点或根结点作为新的叶结点,从而简化生成的决策树。

概念

机器学习从入门到精通——决策树算法概述以及实现总结_决策树_30

熵只与

机器学习从入门到精通——决策树算法概述以及实现总结_d3_31

的分布有关,与

机器学习从入门到精通——决策树算法概述以及实现总结_d3_31

取值无关**,这句注意理解

定义

机器学习从入门到精通——决策树算法概述以及实现总结_决策树_33

,熵是非负的。

条件熵

随机变量

机器学习从入门到精通——决策树算法概述以及实现总结_d3_34

的联合概率分布为

机器学习从入门到精通——决策树算法概述以及实现总结_信息增益_35

条件熵

机器学习从入门到精通——决策树算法概述以及实现总结_算法_36

表示在已知随机变量

机器学习从入门到精通——决策树算法概述以及实现总结_d3_31

的条件下随机变量

机器学习从入门到精通——决策树算法概述以及实现总结_d3_38

的不确定性

机器学习从入门到精通——决策树算法概述以及实现总结_d3_39


其中

机器学习从入门到精通——决策树算法概述以及实现总结_d3_40

经验熵, 经验条件熵

当熵和条件熵中的概率由数据估计(特别是极大似然估计)得到时,所对应的熵与条件熵分别称为经验熵和经验条件熵

就是从已知的数据计算得到的结果。

信息增益

特征

机器学习从入门到精通——决策树算法概述以及实现总结_d3_41

对训练数据集

机器学习从入门到精通——决策树算法概述以及实现总结_算法_42

的信息增益

机器学习从入门到精通——决策树算法概述以及实现总结_算法_43

,定义为集合

机器学习从入门到精通——决策树算法概述以及实现总结_算法_42

的经验熵

机器学习从入门到精通——决策树算法概述以及实现总结_d3_45

与特征

机器学习从入门到精通——决策树算法概述以及实现总结_d3_41

给定的条件下

机器学习从入门到精通——决策树算法概述以及实现总结_算法_42

的经验条件熵

机器学习从入门到精通——决策树算法概述以及实现总结_机器学习_48

之差。

机器学习从入门到精通——决策树算法概述以及实现总结_算法_49


熵与条件熵的差称为互信息.

决策树中的信息增益等价于训练数据集中的类与特征的互信息。

考虑ID这种特征, 本身是唯一的。按照ID做划分, 得到的经验条件熵为0, 会得到最大的信息增益。所以, 按照信息增益的准则来选择特征, 可能会倾向于取值比较多的特征。

机器学习从入门到精通——决策树算法概述以及实现总结_机器学习_50

算法

信息增益算法

输入:训练数据集

机器学习从入门到精通——决策树算法概述以及实现总结_算法_42

和特征

机器学习从入门到精通——决策树算法概述以及实现总结_d3_41


输出:特征

机器学习从入门到精通——决策树算法概述以及实现总结_d3_41

对训练数据集

机器学习从入门到精通——决策树算法概述以及实现总结_算法_42

的信息增益

机器学习从入门到精通——决策树算法概述以及实现总结_机器学习_55

  1. 数据集
  2. 机器学习从入门到精通——决策树算法概述以及实现总结_机器学习_56

  3. 的经验樀
  4. 机器学习从入门到精通——决策树算法概述以及实现总结_信息增益_57

  5. 特征
  6. 机器学习从入门到精通——决策树算法概述以及实现总结_算法_58

  7. 对数据集
  8. 机器学习从入门到精通——决策树算法概述以及实现总结_机器学习_56

  9. 的经验条件樀
  10. 机器学习从入门到精通——决策树算法概述以及实现总结_决策树_60

  11. 信息增益
  12. 机器学习从入门到精通——决策树算法概述以及实现总结_信息增益_61

ID3算法

输入:训练数据集

机器学习从入门到精通——决策树算法概述以及实现总结_算法_42

, 特征集

机器学习从入门到精通——决策树算法概述以及实现总结_d3_41

,阈值

机器学习从入门到精通——决策树算法概述以及实现总结_信息增益_64


输出: 决策树

机器学习从入门到精通——决策树算法概述以及实现总结_决策树_65

  1. 如果
  2. 机器学习从入门到精通——决策树算法概述以及实现总结_机器学习_56

  3. 属于同一类
  4. 机器学习从入门到精通——决策树算法概述以及实现总结_机器学习_67

  5. 为单节点树,类
  6. 机器学习从入门到精通——决策树算法概述以及实现总结_信息增益_68

  7. 作为该节点的类标记,返回
  8. 机器学习从入门到精通——决策树算法概述以及实现总结_机器学习_69

  9. 如果
  10. 机器学习从入门到精通——决策树算法概述以及实现总结_算法_58

  11. 是空集,置
  12. 机器学习从入门到精通——决策树算法概述以及实现总结_机器学习_69

  13. 为单节点树,实例数最多的类作为该节点类标记,返回
  14. 机器学习从入门到精通——决策树算法概述以及实现总结_机器学习_69

  15. 计算
  16. 机器学习从入门到精通——决策树算法概述以及实现总结_决策树_73

  17. , 选择信息增益最大的特征
  18. 机器学习从入门到精通——决策树算法概述以及实现总结_决策树_74

  19. 如果
  20. 机器学习从入门到精通——决策树算法概述以及实现总结_决策树_74

  21. 的信息增益小于
  22. 机器学习从入门到精通——决策树算法概述以及实现总结_算法_76

  23. 为单节点树,
  24. 机器学习从入门到精通——决策树算法概述以及实现总结_机器学习_56

  25. 中实例数最大的类
  26. 机器学习从入门到精通——决策树算法概述以及实现总结_信息增益_68

  27. 作为类标记,返回
  28. 机器学习从入门到精通——决策树算法概述以及实现总结_机器学习_69

  29. 机器学习从入门到精通——决策树算法概述以及实现总结_决策树_74

  30. 划分若干非空子集
  31. 机器学习从入门到精通——决策树算法概述以及实现总结_信息增益_81

  32. 机器学习从入门到精通——决策树算法概述以及实现总结_信息增益_81

  33. 训练集,
  34. 机器学习从入门到精通——决策树算法概述以及实现总结_决策树_83

  35. 为特征集,递归调用前面步骤,得到
  36. 机器学习从入门到精通——决策树算法概述以及实现总结_机器学习_84

  37. ,返回
  38. 机器学习从入门到精通——决策树算法概述以及实现总结_机器学习_84

C4.5生成

输入:训练数据集

机器学习从入门到精通——决策树算法概述以及实现总结_算法_42

, 特征集

机器学习从入门到精通——决策树算法概述以及实现总结_d3_41

,阈值

机器学习从入门到精通——决策树算法概述以及实现总结_信息增益_64


输出:决策树

机器学习从入门到精通——决策树算法概述以及实现总结_决策树_65

  1. 如果
  2. 机器学习从入门到精通——决策树算法概述以及实现总结_机器学习_56

  3. 属于同一类
  4. 机器学习从入门到精通——决策树算法概述以及实现总结_决策树_91

  5. 机器学习从入门到精通——决策树算法概述以及实现总结_机器学习_69

  6. 为单节点树,类
  7. 机器学习从入门到精通——决策树算法概述以及实现总结_决策树_91

  8. 作为该节点的类标记,返回
  9. 机器学习从入门到精通——决策树算法概述以及实现总结_机器学习_69

  10. 如果
  11. 机器学习从入门到精通——决策树算法概述以及实现总结_算法_58

  12. 是空集, 置
  13. 机器学习从入门到精通——决策树算法概述以及实现总结_机器学习_69

  14. 为单节点树,实例数最多的作为该节点类标记,返回
  15. 机器学习从入门到精通——决策树算法概述以及实现总结_机器学习_69

  16. 计算
  17. 机器学习从入门到精通——决策树算法概述以及实现总结_决策树_73

  18. , 选择信息增益比最大的特征
  19. 机器学习从入门到精通——决策树算法概述以及实现总结_信息增益_99

  20. 如果
  21. 机器学习从入门到精通——决策树算法概述以及实现总结_信息增益_99

  22. 信息增益比小于
  23. 机器学习从入门到精通——决策树算法概述以及实现总结_机器学习_101

  24. 机器学习从入门到精通——决策树算法概述以及实现总结_机器学习_69

  25. 为单节点树,
  26. 机器学习从入门到精通——决策树算法概述以及实现总结_机器学习_56

  27. 中实例数最大的类
  28. 机器学习从入门到精通——决策树算法概述以及实现总结_决策树_91

  29. 作为类标记,返回
  30. 机器学习从入门到精通——决策树算法概述以及实现总结_机器学习_69

  31. 机器学习从入门到精通——决策树算法概述以及实现总结_信息增益_99

  32. 划分若干非空子集
  33. 机器学习从入门到精通——决策树算法概述以及实现总结_信息增益_107

  34. 机器学习从入门到精通——决策树算法概述以及实现总结_信息增益_107

  35. 训练集,
  36. 机器学习从入门到精通——决策树算法概述以及实现总结_算法_109

  37. 为特征集,递归调用前面步骤,得到
  38. 机器学习从入门到精通——决策树算法概述以及实现总结_信息增益_110

  39. ,返回
  40. 机器学习从入门到精通——决策树算法概述以及实现总结_信息增益_110

  41. ID3和C4.5在生成上,差异只在准则的差异。

树的剪枝

决策树损失函数摘录如下:


机器学习从入门到精通——决策树算法概述以及实现总结_机器学习_69

的叶结点个数为

机器学习从入门到精通——决策树算法概述以及实现总结_d3_113


机器学习从入门到精通——决策树算法概述以及实现总结_机器学习_114

是树

机器学习从入门到精通——决策树算法概述以及实现总结_机器学习_69

的叶结点,该结点有

机器学习从入门到精通——决策树算法概述以及实现总结_信息增益_116

个样本点,其中

机器学习从入门到精通——决策树算法概述以及实现总结_信息增益_117

类的样本点有

机器学习从入门到精通——决策树算法概述以及实现总结_决策树_118

个,

机器学习从入门到精通——决策树算法概述以及实现总结_算法_119

为叶结点

机器学习从入门到精通——决策树算法概述以及实现总结_机器学习_114

上的经验熵,

机器学习从入门到精通——决策树算法概述以及实现总结_d3_121

为参数,决策树学习的损失函数可以定义为

机器学习从入门到精通——决策树算法概述以及实现总结_机器学习_122


其中

机器学习从入门到精通——决策树算法概述以及实现总结_算法_123

机器学习从入门到精通——决策树算法概述以及实现总结_算法_124

这时有机器学习从入门到精通——决策树算法概述以及实现总结_决策树_125 其中机器学习从入门到精通——决策树算法概述以及实现总结_算法_126表示模型对训练数据的误差,机器学习从入门到精通——决策树算法概述以及实现总结_d3_113表示模型复杂度,参数机器学习从入门到精通——决策树算法概述以及实现总结_决策树_128控制两者之间的影响。 上面这组公式中,注意红色部分,下面插入一个图:

机器学习从入门到精通——决策树算法概述以及实现总结_d3_129

这里面没有直接对

机器学习从入门到精通——决策树算法概述以及实现总结_信息增益_130

求和,系数

机器学习从入门到精通——决策树算法概述以及实现总结_d3_131

使得

机器学习从入门到精通——决策树算法概述以及实现总结_信息增益_132


机器学习从入门到精通——决策树算法概述以及实现总结_d3_133

的大小可比拟。这个地方再理解下。

输入:生成算法生成的整个树

机器学习从入门到精通——决策树算法概述以及实现总结_决策树_65

,参数

机器学习从入门到精通——决策树算法概述以及实现总结_算法_135


输出:修剪后的子树

机器学习从入门到精通——决策树算法概述以及实现总结_信息增益_136

  1. 计算每个结点的经验熵
  2. 递归的从树的叶结点向上回缩
    假设一组叶结点回缩到其父结点之前与之后的整体树分别是
  3. 机器学习从入门到精通——决策树算法概述以及实现总结_机器学习_137

  4. 机器学习从入门到精通——决策树算法概述以及实现总结_决策树_138

  5. ,其对应的损失函数分别是
  6. 机器学习从入门到精通——决策树算法概述以及实现总结_机器学习_139

  7. 机器学习从入门到精通——决策树算法概述以及实现总结_决策树_140

  8. ,如果
  9. 机器学习从入门到精通——决策树算法概述以及实现总结_算法_141

  10. 则进行剪枝,即将父结点变为新的叶结点
  11. 返回2,直至不能继续为止,得到损失函数最小的子树
  12. 机器学习从入门到精通——决策树算法概述以及实现总结_信息增益_142

最小二乘回归树生成

输入:训练数据集

机器学习从入门到精通——决策树算法概述以及实现总结_算法_42


输出: 回归树

机器学习从入门到精通——决策树算法概述以及实现总结_信息增益_144


步骤:

  1. 遍历变量
  2. 机器学习从入门到精通——决策树算法概述以及实现总结_算法_145

  3. ,对固定的切分变量
  4. 机器学习从入门到精通——决策树算法概述以及实现总结_算法_145

  5. 扫描切分点
  6. 机器学习从入门到精通——决策树算法概述以及实现总结_d3_147

  7. ,得到满足上面关系的
  8. 机器学习从入门到精通——决策树算法概述以及实现总结_d3_148


  9. 机器学习从入门到精通——决策树算法概述以及实现总结_决策树_149

  10. 用选定的
  11. 机器学习从入门到精通——决策树算法概述以及实现总结_d3_148

  12. , 划分区域并决定相应的输出值
  13. 机器学习从入门到精通——决策树算法概述以及实现总结_d3_151

  14. 对两个子区域调用(1)(2)步骤,直至满足停止条件
  15. 将输入空间划分为
  16. 机器学习从入门到精通——决策树算法概述以及实现总结_机器学习_152

  17. 个区域
  18. 机器学习从入门到精通——决策树算法概述以及实现总结_信息增益_153

  19. ,生成决策树:
  20. 机器学习从入门到精通——决策树算法概述以及实现总结_d3_154

CART分类树生成

策略是基尼系数,所以是分类树的生成算法。

概率分布的基尼指数定义:

机器学习从入门到精通——决策树算法概述以及实现总结_决策树_155

基尼系数是一个来源于经济学的指标. 范围(0, 1), 有很多中表示形式, 比如衡量收入分布的基尼系数.

机器学习从入门到精通——决策树算法概述以及实现总结_信息增益_156

机器学习从入门到精通——决策树算法概述以及实现总结_算法_157


经济学基尼系数的解释,基尼系数为

机器学习从入门到精通——决策树算法概述以及实现总结_决策树_158

实现以及统计学习书上实例

def create_data():
datasets = [['青年', '否', '否', '一般', '否'],
['青年', '否', '否', '好', '否'],
['青年', '是', '否', '好', '是'],
['青年', '是', '是', '一般', '是'],
['青年', '否', '否', '一般', '否'],
['中年', '否', '否', '一般', '否'],
['中年', '否', '否', '好', '否'],
['中年', '是', '是', '好', '是'],
['中年', '否', '是', '非常好', '是'],
['中年', '否', '是', '非常好', '是'],
['老年', '否', '是', '非常好', '是'],
['老年', '否', '是', '好', '是'],
['老年', '是', '否', '好', '是'],
['老年', '是', '否', '非常好', '是'],
['老年', '否', '否', '一般', '否'],
]
labels = [u'年龄', u'有工作', u'有自己的房子', u'信贷情况', u'类别']
# 返回数据集和每个维度的名称
return datasets, labels

datasets, labels = create_data()
train_data = pd.DataFrame(datasets, columns=labels)

信息增益

# 定义节点类 二叉树
class Node:
def __init__(self, root=True, label=None, feature_name=None, feature=None):
self.root = root
self.label = label
self.feature_name = feature_name
self.feature = feature
self.tree = {}
self.result = {
'label:': self.label,
'feature': self.feature,
'tree': self.tree
}

def __repr__(self):
return '{}'.format(self.result)

def add_node(self, val, node):
self.tree[val] = node

def predict(self, features):
if self.root is True:
return self.label
return self.tree[features[self.feature]].predict(features)

算法实现

class DTree:
def __init__(self, epsilnotallow=0.1):
self.epsilon = epsilon
self._tree = {}

# 熵
@staticmethod
def calc_ent(datasets):
data_length = len(datasets)
label_count = {}
for i in range(data_length):
label = datasets[i][-1]
if label not in label_count:
label_count[label] = 0
label_count[label] += 1
ent = -sum([(p / data_length) * log(p / data_length, 2)
for p in label_count.values()])
return ent

# 经验条件熵
def cond_ent(self, datasets, axis=0):
data_length = len(datasets)
feature_sets = {}
for i in range(data_length):
feature = datasets[i][axis]
if feature not in feature_sets:
feature_sets[feature] = []
feature_sets[feature].append(datasets[i])
cond_ent = sum([(len(p) / data_length) * self.calc_ent(p)
for p in feature_sets.values()])
return cond_ent

# 信息增益
@staticmethod
def info_gain(ent, cond_ent):
return ent - cond_ent

def info_gain_train(self, datasets):
count = len(datasets[0]) - 1
ent = self.calc_ent(datasets)
best_feature = []
for c in range(count):
c_info_gain = self.info_gain(ent, self.cond_ent(datasets, axis=c))
best_feature.append((c, c_info_gain))
# 比较大小
best_ = max(best_feature, key=lambda x: x[-1])
return best_

def train(self, train_data):
"""
input:数据集D(DataFrame格式),特征集A,阈值eta
output:决策树T
"""
_, y_train, features = train_data.iloc[:, :
-1], train_data.iloc[:,
-1], train_data.columns[:
-1]
# 1,若D中实例属于同一类Ck,则T为单节点树,并将类Ck作为结点的类标记,返回T
if len(y_train.value_counts()) == 1:
return Node(root=True, label=y_train.iloc[0])

# 2, 若A为空,则T为单节点树,将D中实例树最大的类Ck作为该节点的类标记,返回T
if len(features) == 0:
return Node(
root=True,
label=y_train.value_counts().sort_values(
ascending=False).index[0])

# 3,计算最大信息增益 同5.1,Ag为信息增益最大的特征
max_feature, max_info_gain = self.info_gain_train(np.array(train_data))
max_feature_name = features[max_feature]

# 4,Ag的信息增益小于阈值eta,则置T为单节点树,并将D中是实例数最大的类Ck作为该节点的类标记,返回T
if max_info_gain < self.epsilon:
return Node(
root=True,
label=y_train.value_counts().sort_values(
ascending=False).index[0])

# 5,构建Ag子集
node_tree = Node(
root=False, feature_name=max_feature_name, feature=max_feature)

feature_list = train_data[max_feature_name].value_counts().index
for f in feature_list:
sub_train_df = train_data.loc[train_data[max_feature_name] ==
f].drop([max_feature_name], axis=1)

# 6, 递归生成树
sub_tree = self.train(sub_train_df)
node_tree.add_node(f, sub_tree)

# pprint.pprint(node_tree.tree)
return node_tree

def fit(self, train_data):
self._tree = self.train(train_data)
return self._tree

def predict(self, X_test):
return self._tree.predict(X_test)

训练数据

datasets, labels = create_data()
data_df = pd.DataFrame(datasets, columns=labels)
dt = DTree()
tree = dt.fit(data_df)

打印树

{'label:': None, 'feature': 2, 'tree': {'否': {'label:': None, 'feature': 1, 'tree': {'否': {'label:': '否', 'feature': None, 'tree': {}}, '是': {'label:': '是', 'feature': None, 'tree': {}}}}, '是': {'label:': '是', 'feature': None, 'tree': {}}}}

链接: ​​DataWhale​​.