算法简介

梯度提升回归树是一种集成方法，通过合并多个决策树来构建一个更为强大的模型。虽然名字中含有“回归”，但这个模型既可以用于回归，也可以用于分类。与随机森林方法不同，梯度提升采用连续的方式构造树，每棵树都试图纠正前一棵树的错误。默认情况下，梯度提升回归树中没有随机化，而是用到了强预剪枝。梯度提升树通常使用深度很小的数，这样模型占用内存更少，预测速度也更快。

梯度提升回归树背后的主要思想是合并许多简单的模型(弱学习器)，比如深度较小的树。每棵树只能对部分数据做出好的预测，因此，添加的树越来越多，可以不断迭代提高性能。

算法示例

### 梯度提升回归树
from sklearn.ensemble import GradientBoostingClassifier
from sklearn.datasets import load_breast_cancer
import numpy as np
cancer = load_breast_cancer()
x_trains, x_tests, y_trains, y_tests = train_test_split(cancer.data, cancer.target, random_state = 42)
gbrt = GradientBoostingClassifier(random_state=0).fit(x_trains, y_trains)
print("training set score:{:.3f}".format(gbrt.score(x_trains, y_trains)))
print("testing set score:{:.3f}".format(gbrt.score(x_tests, y_tests)))
print("")
# 默认参数训练集精度达到100%，存在过度拟合的可能，通过限制最大深度或设置学习率可以实现剪枝，降低学习率
gbrt = GradientBoostingClassifier(random_state=2, max_depth=1, learning_rate=0.1).fit(x_trains, y_trains)
print("training set score:{:.3f}".format(gbrt.score(x_trains, y_trains)))
print("testing set score:{:.3f}".format(gbrt.score(x_tests, y_tests)))
def plot_feature_importance_cancer(modle):
n_features = cancer.data.shape[1]
plt.barh(np.arange(n_features), modle.feature_importances_, align='center')
plt.yticks(np.arange(n_features), cancer.feature_names)
plt.xlabel("Feature importance")
plt.ylabel("Feature")
# 打印复杂度
plot_feature_importance_cancer(gbrt)

结果：

training set score:1.000 testing set score:0.958
training set score:0.991 testing set score:0.965

image.png

算法优缺点

梯度提升树经常是机器学习竞赛中的优胜者，并且广泛应用于业界。梯度提升决策树是监督学习中最强大也是最常用的算法之一。其主要缺点是需要仔细调参，而且训练时间可能会比较长。这一算法不需要对数据进行缩放就可以表现的很好，而且也适用于二元特征与连续特征同时存在的数据集。

与随机森林相比，它通常对参数设置更为敏感，但如果参数设置正确的话，模型精度更高。

除了预剪枝与集成中树的数量之外，梯度提升的另一个重要参数是learning_rate(学习率)，用于控制每棵树纠正前一棵树的错误的强度。较高的学习率意味着每棵树都可以做出较强的修正，模型会更复杂。通过增大n_estimators来向集成中添加更多树，也可以增加模型的复杂度，因为模型又更多机会纠正训练集上的错误。