随机森林

1.什么是集成模型

①集成模型：大白话就是把若干个决策树合到一起的模型(三个臭皮匠顶个诸葛亮)

②优势：1）效果好，稳定；2）可解释性强

③集成模型的分类：

1）Bagging：随机森林；

基于Bagging的构造，预测过程：

随机森林MDA和MDG 随机森林模型_决策树


2）Boosting：GBDT,XGBOOST

下篇Blog介绍，本节以随机森林为主

2.举例：

问题：假设邀请了9位专家，而且每一位专家在决策上犯错误的概率位0.4，那么他们共同决策时最终犯错误的概率是多少？

随机森林MDA和MDG 随机森林模型_git_02


通过这个例子我们可以看到一个人决策时犯错误的概率为0.4，而大家一起决策时犯错误的概率位0.25241

所以为什么说集成模型的稳定性高呢，通过集成模型做预测可以降低方差，而方差越低说明模型越稳定这是一种原因

3.随机森林的训练

随机森林的核心：

1）随机：1）训练样本的随机化(稳定性的基础是多样性)
2）森林：多颗决策树

随机森林的构造：

1）构造随机森林需要考虑的点：①只有一份训练数据；②确保多颗决策树要优于但棵决策树

2）随机森林的构造：

随机森林MDA和MDG 随机森林模型_决策树_03


对训练数据进行抽样：Bootstrap(可以重复抽样同样的样本)

随机森林MDA和MDG 随机森林模型_决策树_04


随机森林的预测：

分类问题：少数服从多数，比如说随机森林由三棵树构成，两棵树分类为同意，一棵树分类为不同意，那么最终结果为不同意

回归问题：取平均值

随机森林的demo

# 导入数字识别数据集,这个数据集已经集成在了sklearn里
from sklearn.datasets import load_digits
# 导入随机森林分类器
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import train_test_split
import pandas as pd
import numpy as np
# 导入数据
digits = load_digits()
X = digits.data
y = digits.target
X_train, X_test, y_train, y_test = train_test_split(X,
              y, test_size=0.2, random_state=42)
# 创建随机森林,参数可以适当修改一下。
# https://scikit-learn.org/stable/modules/generated/sklearn.ensemble.RandomForestClassifier.html
clf = RandomForestClassifier(n_estimators=400, criterion='entropy',
              max_depth=5, min_samples_split=3, max_features='sqrt',random_state=0)
clf.fit(X_train, y_train)
print ("训练集上的准确率为:%.2f, 测试数据上的准确率为:%.2f"
   % (clf.score(X_train, y_train), clf.score(X_test, y_test)))

结果：训练集上的准确率为:0.98, 测试数据上的准确率为:0.95

写在最后：
如果有些地方理解的不对，大家可以积极评论，学习本身就是一个不断纠错的过程，发现问题不管是对我还是对大家都是一种进步