GBDT，梯度提升树属于一种有监督的集成学习方法，与之前学习的监督算法类似，同样可以用于分类问题的识别和预测问题的解决。该集成算法体现了三个方面的又是，分别是提升Boosting、梯度Gradient、决策树Decision Tree。“提升”是指将多个弱分类器通过线下组合实现强分类器的过程；“梯度”指的是在Boosting过程中求解损失函数时增加了灵活性和便捷性，“决策树”是指算法所使用的弱分类
转载
2023-06-09 22:43:08
113阅读
Python机器学习算法实现Author：louwillMachine Learning Lab 时隔大半年，机器学习算法推导系列终于有时间继续更新了。在之前的14讲中，笔者将监督模型中主要的单模型算法基本都过了一遍。预计在接下来的10讲中，笔者将努力更新完以GBDT代表的集成学习模型，以EM算法、CRF和隐马
转载
2023-10-10 10:48:54
96阅读
Table of Contents1 GBDT概述2 GBDT回归(提升树)2.1 算法流程2.2 python实现3 GBDT分类3.1 算法流程3.2 python实现3.3 多分类GBDT概述\(f_{k-1}(x)\
转载
2023-06-26 14:12:07
181阅读
说明：这是一个机器学习实战项目（附带数据+代码+文档+视频讲解），如需数据+代码+文档+视频讲解可以直接到文章最后获取。1.项目背景GBDT是Gradient Boosting Decision Tree（梯度提升树）的缩写。GBDT分类又是建立在回归树的基础上的。本项目应用GBDT算法实现多分类模型。2.数据获取本次建模数据来源于网络(本项目撰写人整理而成)，数据项统计如下： 数据详情
转载
2023-08-25 16:34:37
66阅读
一、算法简介：GBDT 的全称是 Gradient Boosting Decision Tree，梯度提升树，在传统机器学习算法中，GBDT算的上是TOP前三的算法。想要理解GBDT的真正意义，那就必须理解GBDT中的Gradient Boosting和Decision Tree分别是什么？1. Decision Tree：CART回归树 首先，GBDT使用的决策树是CART回归树，无论是处理回归
转载
2023-09-27 12:15:54
130阅读
GBDT，梯度提升树属于一种有监督的集成学习方法，与之前学习的监督算法类似，同样可以用于分类问题的识别和预测问题的解决。该集成算法体现了三个方面的又是，分别是提升Boosting、梯度Gradient、决策树Decision Tree。“提升”是指将多个弱分类器通过线下组合实现强分类器的过程；“梯度”指的是在Boosting过程中求解损失函数时增加了灵活性和便捷性，“决策树”是指算法所使用的弱分类
转载
2023-07-17 21:54:29
82阅读
GBDT用于分类和回归及其python实现1.GBDT回归1.1基本思想1.2算法流程：2.GBDT二分类2.1基本思想2.2算法流程2.3python实现2.3.1回归树2.3.2GBDT实现 adaboost用于分类的时候其实是模型为加法模型，损失函数为指数损失函数的算法，用于回归的时候是是损失函数为平方误差的损失函数，但是当损失函数为一般损失函数的时候，优化会变得比较复杂，例如我们分类使
转载
2023-09-20 10:33:31
60阅读
随机森林 python实现GBDT python实现Adaboost python实现装袋（bagging）又称自助聚集（boot strap aggregating）， 是一种根据均匀分布概率从数据集最中有放回的重复抽样的技术。每个自助样本集都和原始数据集一样大，自助样本D_{i}大约包含63%的原训练数据。决策树桩（decision stump） 仅基于单个特征来做决策，仅包含一层的二叉决策树
转载
2023-07-17 21:52:53
65阅读
作者：王多鱼 作者介绍知乎@王多鱼京东的一名推荐算法攻城狮。主要负责商品推荐的召回和排序模型的优化工作。一、GBDT算法原理Gradient Boosting Decision Tree（GBDT）是梯度提升决策树。GBDT模型所输出的结果是由其包含的若干棵决策树累加而成，每一棵决策树都是对之前决策树组合预测残差的拟合，是对之前模型结果的一种“修正”。梯度提升树既可以用于回归问题（此时被
转载
2023-11-24 12:58:58
61阅读
文章目录1 GBDT算法核心思想2 GBDT算法的数学原理3 GBDT算法数学原理举例梯度提升树中梯度的理解4 使用sklearn实现GBDT算法5 案例：产品定价模型5.1 模型搭建5.1.1 读取数据5.1.2 分类型文本变量的处理5.1.3 提取特征变量和目标变量5.1.4 划分训练集的测试集5.1.5 模型训练及搭建5.2 模型预测及评估6 模型参数介绍知识拓展 1 GBDT算法核心思想
转载
2023-09-22 08:45:40
135阅读
1. GBDT多分类算法1.1 Softmax回归的对数损失函数1.2 GBDT多分类原理2. GBDT多分类算法实例3. 手撕GBDT多分类算法3.1 用Python3实现GBDT多分类算法3.2 用sklearn实现GBDT多分类算法4. 总结5. Reference本文的主要内容概览：1. GBDT多分类算法1.1 Softmax回归的对数损失函数当使用逻辑回归处理多标签的分类问题时，如果一
转载
2024-08-09 10:57:32
68阅读
GBDT 适用范围GBDT 可以适用于回归问题（线性和非线性）其实多用于回归；GBDT 也可用于二分类问题（设定阈值，大于为正，否则为负）和多分类问题RF与GBDT之间的区别与联系1）相同点：都是由多棵树组成最终的结果都由多棵树共同决定。2）不同点：组成随机森林的树可以分类树也可以是回归树，而GBDT只由回归树组成组成随机森林的树可以并行生成（Bagging）；GBDT 只能串行生成（Boosti
转载
2023-11-28 21:08:24
48阅读
一、原理篇1.1 温故知新回归树是GBDT的基础，之前的一篇文章曾经讲过回归树的原理和实现。链接如下：回归树的原理及Python实现1.2 预测年龄仍然以预测同事年龄来举例，从《回归树》那篇文章中我们可以知道，如果需要通过一个常量来预测同事的年龄，平均值是最佳选择之一。1.3 年龄的残差我们不妨假设同事的年龄分别为5岁、6岁、7岁，那么同事的平均年龄就是6岁。所以我们用6岁这个常量来预测同事的年龄
转载
2024-04-29 09:45:32
70阅读
GBDT在业界是经常使用的一个算法，面试也经常会问到些八股，不过我做NLP，所以感觉被问的还不算多，但考虑到自己对这个算法的各种原理理解的不够深入，所以还是决定做一下相关的笔记。 结构原理
首先，GBDT的全称为梯度提升决策树，显然这里的boosting（提升）就是我们所熟悉的模型集成的一个思想，另外RF（随机森林）使用的是bagging的集成思想。GBDT的base model为CART树
转载
2024-03-30 23:17:00
132阅读
1.概述 GBDT基于GB算法。GB算法的主要思想是，每次建立模型是在之前建立模型损失函数的梯度下降方向。损失函数是评价模型性能(一般为拟合程度+正则项)，认为损失函数越小，性能越好。而让损失函数持续下降，就能使得模型不断调整提升性能，其最好的方法就是使损失函数沿着梯度方向下降。GBDT再此基础上，基于负梯度(当损失函数为均方误差的时候，可以看作是残差)做学习。 2.原理 类似于随机森林
转载
2023-07-17 12:18:52
132阅读
本文原作者：蒋凯，导语 ：工业界机器学习大杀器解读。GBDT是常用的机器学习算法之一，因其出色的特征自动组合能力和高效的运算大受欢迎。这里简单介绍一下GBDT算法的原理，后续再写一个实战篇。1、决策树的分类决策树分为两大类，分类树和回归树。分类树用于分类标签值，如晴天/阴天/雾/雨、用户性别、网页是否是垃圾页面；回归树用于预测实数值，如明天的温度、用户的年龄、网页的相关程度；两者的区别：分类树的结
转载
2023-08-15 14:46:09
76阅读
GBDT(Gradient Boosting Decision Tree) 又叫 MART（Multiple Additive Regression Tree)，是一种迭代的决策树算法，该算法由多棵决策树组成，它在被提出之初就和SVM一起被认为是泛化能力（generalization)较强的算法。近些年更因为被用于各大数据竞赛而引起
转载
2024-05-29 00:37:50
46阅读
之前的很多算法（SVM、朴素贝叶斯等）的学习心得都没有来的及写。由于学校一个横向项目需要（酒店需求预测）考虑使用GBDT来做回归，今天就先写GBDT的心得体会（不久前刚写了随机森林作为铺垫）。这个算法是目前我接触到的算法当中比较难的一个了，但据说效果超级好，毕竟Kaggle竞赛的必备算法哈。 同随机森林
转载
2023-10-17 23:18:50
85阅读
在机器学习领域，Gradient Boosting Decision Trees（GBDT）因其准确性和效果受到了广泛的关注。本文将通过详细的步骤，介绍如何在Python中有效地调用GBDT。接下来的内容包括环境准备、集成步骤、配置详解、实战应用、排错指南和性能优化，旨在帮助开发者深入了解GBDT的实现与应用。
### 环境准备
在开始之前，我们需要设置一个适合运行GBDT的开发环境。以下是依
目录一、GBDT二. GBDT回归树基本模版三. GBDT的算法描述3.1 GBDT的损失函数3.1.1 梯度提升回归树损失函数介绍3.1.2 梯度提升分类树损失函数介绍3.2 GBDT回归算法描述3.2.1 平方损失GBDT算法描述3.2.2 绝对损失GBDT算法描述3.2.3 huber损失GBDT算法描述3.3 GBDT分类算法描述3.3.1 log损失GBDT的二分类
