1.概述 GBDT基于GB算法。GB算法的主要思想是，每次建立模型是在之前建立模型损失函数的梯度下降方向。损失函数是评价模型性能(一般为拟合程度+正则项)，认为损失函数越小，性能越好。而让损失函数持续下降，就能使得模型不断调整提升性能，其最好的方法就是使损失函数沿着梯度方向下降。GBDT再此基础上，基于负梯度(当损失函数为均方误差的时候，可以看作是残差)做学习。 2.原理 类似于随机森林
转载
2023-07-17 12:18:52
132阅读
之前的很多算法（SVM、朴素贝叶斯等）的学习心得都没有来的及写。由于学校一个横向项目需要（酒店需求预测）考虑使用GBDT来做回归，今天就先写GBDT的心得体会（不久前刚写了随机森林作为铺垫）。这个算法是目前我接触到的算法当中比较难的一个了，但据说效果超级好，毕竟Kaggle竞赛的必备算法哈。 同随机森林
转载
2023-10-17 23:18:50
85阅读
一、原理篇1.1 温故知新回归树是GBDT的基础，之前的一篇文章曾经讲过回归树的原理和实现。链接如下：回归树的原理及Python实现1.2 预测年龄仍然以预测同事年龄来举例，从《回归树》那篇文章中我们可以知道，如果需要通过一个常量来预测同事的年龄，平均值是最佳选择之一。1.3 年龄的残差我们不妨假设同事的年龄分别为5岁、6岁、7岁，那么同事的平均年龄就是6岁。所以我们用6岁这个常量来预测同事的年龄
转载
2024-04-29 09:45:32
70阅读
文章目录一、前言二、线性模型三、非线性模型 一、前言回归预测建模的核心是学习输入 到输出 （其中 是连续值向量）的映射关系。条件期望 是 到 的回归函数。简单来说，就是将样本的特征矩阵映射到样本标签空间。本文全面整理了各种常用的回归预测模型，旨在帮助读者更好地学习回归预测建模。二、线性模型线性回归是一种线性模型，通过特征的线性组合来预测连续值标签。线性回归通过拟合系数 （可选择是否
GBDT即可用于解决回归问题，也能用于解决分类问题。在初步理解GBDT时，最好从回归和分类的角度分别理顺思路，发现其中的不同和关键点，就能初步明白GBDT的算法原理。接下来从回归和分类的角度分别记录下：1、回归的角度——初步：GBDT的思想可以用一个通俗的例子解释，假如有个人30岁，我们首先用20岁去拟合，发现损失有10岁，这时我们用6岁去拟合剩下的损失，发现差距还有4岁，第三轮我们用3岁拟合剩下
转载
2023-11-29 13:47:58
71阅读
— 全文阅读3分钟 —在本文中，你将学习到以下内容：GBDT算法实现模型保存模型加载及预测前言GBDT属于Boosting算法，它是利用损失函数的负梯度方向在当前模型的值作为残差的近似值，进而拟合一棵CART回归树。GBDT的会累加所有树的结果，而这种累加是无法通过分类完成的，因此GBDT的树都是CART回归树，而不是分类树（尽管GBDT调整后也可以用于分类但不代表GBDT的树为分类树）。本文就是
本文从互联网搬运，只用于本人学习记录。 决策树之GBDT1. 思想1.1. 回归树 Regression Decision Tree1.2. 梯度迭代 Gradient Boosting1.3 缩减 Shrinkage2. 优缺点3. 与Adaboost对比 GBDT（Gradient Boosting Decision Tree）是一种迭代的决策树算法，该算法由多棵决策树组成，属于 Boosti
转载
2024-03-19 16:14:20
41阅读
GBDT 及其改进版本(XGboost, lightGBM)在数据竞赛中占了大半江山，网上讲解的文章也很多，但大多是文字和公式的形式，这里尝试用简单的图解形式，去理解 GBDT 的基本操作过程。参考《统计学习方法》P149中的例子，说明 GBDT 的构造和预测过程。GBDT的构造GBDT 采用的弱分类器限定了 CART，因此构造出来的都是二叉树，因为单棵 CART 树的能力有限，GBDT 通过构造
转载
2024-04-03 09:17:27
69阅读
GBDTGBDT是boosting系列算法的代表之一，其核心是 梯度+提升+决策树。GBDT回归问题通俗的理解：
先来个通俗理解：假如有个人30岁，我们首先用20岁去拟合，发现损失有10岁，这时我们用6岁去拟合剩下的损失，发现差距还有4岁，第三轮我们用3岁拟合剩下的差距，差距就只有一岁了。如果我们的迭代轮数还没有完，可以继续迭代下面，每一轮迭代，拟合的岁数误差都会减小。最后将每次拟合的岁数加起来便
转载
2024-03-28 13:10:44
63阅读
提到GBDT回归相信大家应该都不会觉得陌生，本文就GBDT回归的基本原理进行讲解，并手把手、肩并肩地带您实现这一算法。完整实现代码请参考本人的github。一、原理篇我们用人话而不是大段的数学公式来讲讲GBDT回归是怎么一回事。1.1 温故知新回归树是GBDT的基础，之前的一篇文章曾经讲过回归树的原理和实现。链接如下：回归树的原理及Python实现1.2 预测年龄仍然以预测同事年龄来举例，从《回归
转载
2024-08-29 20:27:30
16阅读
GBDT（Gradient Boost Decision Tree）
GBDT，全称Gradient Boosting Decision Tree，叫法比较多，如Treelink、 GBRT(Gradient Boost Regression Tree)、Tree Net、MART(Multiple Additive Regression Tree)等。GBDT是决策树中的回归树，决策树
转载
2024-03-10 08:45:14
71阅读
原文：GBDT，全称Gradient Boosting Decision Tree，叫法比较多，如Treelink、 GBRT(Gradient Boost Regression Tree)、Tree Net、MART(Multiple Additive Regression Tree)等。GBDT是决策树中的回归树，决策树分为回归树和分类树，分类树的衡量标准是最大熵，而回归树的衡量标准是最小化均
转载
2023-08-27 09:47:35
205阅读
GBDT+XGBoost算法非常实用，且面试常考，应给予重视。一、GBDT1.1 GBDT的原理用下一个弱分类器去拟合当前残差（真实值-当前预测值），之后所有弱分类器的结果相加等于预测值。这里弱分类器的表现形式就是CART树。如图所示：Y = Y1 + Y2 + Y3。 1.2 GBDT回归任务【例题一】某人今年30岁了，但计算机或模型GBDT并不知道今年多少岁，那GBDT咋办呢？第一
转载
2024-03-20 22:26:56
178阅读
综述GBDT(Gradient Boosting Decision Tree) 又叫 MART（Multiple Additive Regression Tree)，是一种迭代的决策树算法，该算法由多棵决策树组成，所有树的结论累加起来做最终答案。它在被提出之初就和SVM一起被认为是泛化能力较强的算法。 GBDT中的树是回归树（不是分类树），GBDT用来做回归预测，调整后也可以用于分类。 G
转载
2024-05-05 07:01:54
52阅读
GBDT简介GBDT的全称是Gradient Boosting Decision Tree，梯度提升决策树，它在普通决策树的基础上添加了梯度提升方法，从1颗决策树演变为多颗决策树，逐步提升学习精度。网上有大量介绍GBDT的文章，大部分都是讲原理和推公式，公式推导是算法的精髓，自己亲自推导一遍，更有感觉。但考虑到算法的复杂度，不妨先从源码实现的角度理解算法流程，再反过来理解公式推导，似乎效率更高，因
转载
2024-05-10 16:00:21
93阅读
第一部分：参数说明
（一）、简述
sklearn自带的ensemble模块中集成了GradientBoostingRegressor的类，参数包括：
class
sklearn.ensemble.
GradientBoostingRegressor
(
loss=’ls’
,
learning_rate=0.1
,
n_estimators
转载
2024-05-08 09:55:35
63阅读
基础概念GBDT(Gradient Boosting Decision Tree) 全称梯度提升决策树，是一种迭代的决策树算法。GBDT是集成学习Boosting的家族成员，GBDT中的树是回归树，用于回归预测，调整后也可以用于分类。分类树与回归树的差异分类树大致的实现过程是：穷举每一个属性特征的信息增益值，每一次都选取使信息增益最大（或信息增益比，基尼系数等）的特征进行分枝，直到分类完成或达到预
转载
2024-02-22 17:16:01
58阅读
GBDT(Gradient Boosting Decision Tree)是被工业界广泛使用的机器学习算法之一，它既可以解决回归问题，又可以应用在分类场景中，该算法由斯坦福统计学教授 Jerome H. Friedman 在 1999 年发表。本文中，我们主要学习 GBDT 的回归部分。在学习 GBDT 之前，你需要对 CART、AdaBoost 决策树有所了解，和 AdaBoost 类
转载
2024-03-25 13:45:02
0阅读
GBDT主要由三个概念组成：Regression Decistion Tree（即DT)，Gradient Boosting（即GB)，Shrinkage (算法的一个重要演进分枝，目前大部分源码都按该版本实现），是一种用于回归的迭代决策树算法，该算法由多棵决策树组成，所有树的结论累加起来做最终答案。一、 DT：回归树 Regressio
转载
2024-03-29 13:40:38
77阅读
# 使用Python进行GBDT回归的步骤
作为一名经验丰富的开发者，我将教你如何使用Python实现GBDT回归。下面将按照以下流程进行讲解：
1. 数据准备
2. 特征选择
3. 模型训练
4. 模型预测
5. 模型评估
接下来，让我们一步步来实现这些步骤。
## 数据准备
首先，我们需要准备训练数据和测试数据。在这个示例中，我们将使用一个名为`data.csv`的数据文件。
``
原创
2023-11-12 05:20:18
69阅读
