文章目录
- 一. 决策树
- 1. 定义
- 2. 决策树的生成
- 3. 损失函数
- 4. 决策树的纯度
- 5. 决策树的分割方式—— 非线性
- 6. 剪枝
- 7. one-hot
- 7. 单棵决策树缺点
- 8. 代码实现决策树
- 二. 随机森林
- 1. 定义
- 2. 随机森林运行机制
- 3. 随机森林的中心思想 —— 并行思想
- 4. 随机森林与逻辑回归
- 5. 代码实现随机森林
一. 决策树
1. 定义
逻辑回归是一种线性用监督的离散型分类模型
决策树是一种非线性有监督离散型分类模型
随机森林是一种非线性有监督离散型分类模型
决策树是通过固定的条件对类别进行判断的
逻辑回归用于非线性的解决方法： 映射到高维：
2. 决策树的生成
数据在不断分裂的递归过程中，每一次的分裂尽可能让类别一样的数据在树的一边，当树的叶子节点的数据都是一类的时候，则停止分裂（if-else语句）
3. 损失函数
1） 基尼系数
基尼系数是指国际上通用的，用以衡量一个国家或者是地区居民收入差距的常用指标
- 若低于0.2表示指数等级极低；（高度平均）
- 0.2-0.29表示指数等级低；（比较平均）
- 0.3-0.39表示指数等级中；（相对合理）
- 0.4-0.59表示指数等级高；（差距较大）
- 0.6以上表示指数等级极高。（差距悬殊）
2） 熵
1948年，香农提出了“信息熵”的概念，才解决了对信息的量化度量问题。信息熵这个词是C．E．香农从热力学中借用过来的。热力学中的热熵是表示分子状态混乱程度的物理量。香农用信息熵的概念来描述信源的不确定度，信息增益
3） 方差
数据集：
分割方式1：
分割方式2：
哪种分割方式更好？
4. 决策树的纯度
1）定义
当应用一个特征（eg： 头发的长度），对数据（eg：男女）进行分类，若这个特征能把数据分到一侧（eg： 全为男，或者全为女），则可以说该特征可分类纯度高
2） 纯度与各参数的关系：
基尼系数越大，熵越大，方差越大，数据集越不一样，纯度越高**
3） 纯度计算的方式：
4） 纯度的参数
splitter： best（在创建决策树的时候选择最好的方式，这样的方式虽然速度慢，但是纯度高），random（在创建决策树的的时候，随意选择，这样做的好处是速度快，但是纯度低）
5. 决策树的分割方式—— 非线性
决策树的参数： 为了创建一个优秀的决策树而提供的支持
max_leaf_node:最大的叶子节点
max_depth:创建决策树的最大深度
min_samples_split:叶子节点的最小划分
min_samples_leaf: 最少分成多少个叶子节点
min_weight_fraction_leaf： 每个叶子节点的权重
max_features： 划分时考虑的最大特征数（官方文档： The number of features to consider when looking for the best split：在决定最好的划分时候，特征的数量）
6. 剪枝
1）实质： 就是决策树的正则化
2）目的： 为了减少过拟合现象
3）剪枝分类：
(1)预剪枝：
- 定义： 在这棵树还没有开始分裂的时候，提前预设一些条件，通过对将要生成的树的判断，来限制max_depth
- 预剪枝的方式： 控制分裂的层数、控制叶子节点的样本数量
(2) 后剪枝
定义： 在树生成之后，通过对某些叶子节点的删除，来限制max_leaf_perc(比如： 合并叶子节点)
4）剪枝的作用：
剪枝保证了模型的通用性
7. one-hot
1)定义
One-Hot编码，又称为一位有效编码，主要是采用N位状态寄存器来对N个状态进行编码，每个状态都由他独立的寄存器位，并且在任意时候只有一位有效。
One-Hot编码是分类变量作为二进制向量的表示。这首先要求将分类值映射到整数值。然后，每个整数值被表示为二进制向量，除了整数的索引之外，它都是零值，它被标记为1。
2） 实例
eg1： 男女的表示：
男——>10
女——>01
eg2:
运动特征：[“足球”，“篮球”，“羽毛球”，“乒乓球”]（这里N=4）：
足球 => 1000
篮球 => 0100
羽毛球 => 0010
乒乓球 => 0001
当想要表示样本[“男”，“羽毛球”]的时候就可以写成： [100010]，实际上就是：[10 | 0010 ]
3） 使用one-hot 的好处：
使用one-hot编码，将离散特征的取值扩展到了欧式空间，离散特征的某个取值就对应欧式空间的某个点。将离散型特征使用one-hot编码，确实会让特征之间的距离计算更加合理
7. 单棵决策树缺点
1）. 运算量大，需要一次加载所有数据进内存，并且找寻分割条件是一个极消耗资源的工作
2）. 训练样本中出现异常数据的时候，将会对决策树产生很大的影响，抗干扰能力差
解决方法：
1）. 减少决策树所需的训练样本（减少行或者减少列）
2）. 随机采样，降低异常数据的影响
8. 代码实现决策树
实验代码如下：
from sklearn.tree import DecisionTreeRegressor
import numpy as np
import matplotlib.pyplot as plt
N = 100
x = np.random.rand(N) * 6 -3
x.sort()
y = np.sin(x) + np.random.rand(N)*0.05
x= x.reshape(-1,1)
dt_reg = DecisionTreeRegressor(criterion='mse',max_depth=3)
dt_reg.fit(x,y)
x_test = np.linspace(-3,3,50).reshape(-1,1)
y_hat = dt_reg.predict(x_test)
plt.plot(x, y, "y*", label="actual")
plt.plot(x_test, y_hat, "b-", linewidth=2, label="predict")
plt.legend(loc="upper left")
plt.grid()
plt.show()
#################################################
# 比较不同深度的决策树
depth = [2, 4, 6, 8, 10]
color = 'rgbmy'
dt_reg = DecisionTreeRegressor()
plt.plot(x, y, "ko", label="actual")
x_test = np.linspace(-3, 3, 50).reshape(-1, 1)
for d, c in zip(depth, color):
dt_reg.set_params(max_depth=d)
dt_reg.fit(x, y)
y_hat = dt_reg.predict(x_test)
plt.plot(x_test, y_hat, '-', color=c, linewidth=2, label="depth=%d" % d)
plt.legend(loc="upper left")
plt.grid(b=True)
plt.show()运行结果为：
实验分析：
黑色的点代表就是原始数据，我们可以看出，当深度很小的时候，决策树的分类效果相对不好，也就是纯度不高。 随着设定深度的增加，决策树的纯度越来越高，最终基本与原始数据拟合。但要注意，深度不能设定的过大，因为可能会出现过拟合的现象。
二. 随机森林
1. 定义
森林： 由树组成
随机： 生成树的数据是从数据集中随机选取的
随机森林： 是由许多决策树组成的
2. 随机森林运行机制
3. 随机森林的中心思想 —— 并行思想
因为随机森林中的树都是相互独立的，所以这些树可以在不同的机器上，或者CPU，GPU上运行，这样能极大缩短建模的时间
4. 随机森林与逻辑回归
1）分类：
- 逻辑回归： 软分类（可以设置阈值）
- 随机森林： 硬分类
2）模型：
- 逻辑回归： 线性模型
- 随机森林： 非线性模型
3）输出
- 逻辑回归： 输出有概率意义
- 随机森林： 输出无概率意义
4）抗干扰
- 逻辑回归： 抗干扰能力强
- 随机森林： 抗干扰能力弱
5. 代码实现随机森林
实验代码如下：
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier
from sklearn.metrics import accuracy_score
from sklearn.datasets import load_iris
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
iris = load_iris()
data = pd.DataFrame(iris.data)
data.columns= iris.feature_names
data['Species'] = iris.target
print(data)
x = data.iloc[:,:2]
y = data.iloc[:,-1]
x_train , x_test,y_train,y_test = train_test_split(x,y,test_size=0.75,random_state=42)
#创建一个决策树的模型
tree_clf = DecisionTreeClassifier(max_depth=4,criterion='entropy')
tree_clf.fit(x_train,y_train)
y_test_hat = tree_clf.predict(x_test)
# acc score: 准确率
print("acc score: ",accuracy_score(y_test,y_test_hat))
depth = np.arange(1,15)
err_list = []
for d in depth:
clf = DecisionTreeClassifier(criterion='entropy',max_depth=d)
clf.fit(x_train,y_train)
y_test_hat= clf.predict(x_test)
result = (y_test_hat ==y_test)
err = 1-np.mean(result)
err_list.append(err)
print(d,"错误率：%.2f%%" %( 100 * err))
plt.figure(facecolor = 'w')
plt.plot(depth,err_list,'ro-',lw = 2)
plt.xlabel('Decision Tree Depth', fontsize=15)
plt.ylabel('Error Rate', fontsize=15)
plt.title('Decision Tree Depth & Over Fit', fontsize=18)
plt.grid(True)
plt.show()运行结果为：
