目录 回归树理论解释算法流程ID3 和 C4.5 能不能用来回归？回归树示例References 说到决策树（Decision tree），我们很自然会想到用其做分类，每个叶子代表有限类别中的一个。但是对于决策树解决回归问题，一直是一知半解，很多时候都是一带而过。对于一个回归问题，我们第一时间想到的可能就是线性回归（linear regression），当线性回归不好的时候，可能想着用 SV
1.引言 如果用一句话定义xgboost，很简单：Xgboost就是由很多CART树集成。但，什么是CART树？ 数据挖掘或机器学习中使用的决策树有两种主要类型： 分类树分析是指预测结果是数据所属的类（比如某个电影去看还是不看） 回归树分析是指预测结果可以被认为是实数（例如房屋的价格，或患者在医院中
转载
2020-09-09 19:43:00
94阅读
2评论
分类决策树 回归决策树 What is a Decision Tree ?什么是决策树？Based on the dataset available a decision tree learns the if/else hierarchy which ultimately leads to a decision making. Decision Trees are widely used mod
1.CART简介 分类与回归树（classification and regression tree，CART）模型由Breiman等人在1984年提出，是应用广泛的决策树学习方法。CART同样由特征选择而、树的生成及剪枝组成，既可以用于分类也可以用于回归。2.基本概念 &nbs
1、介绍集成树(tree-based ensemble learning)中，最有名的就是随机森林树(Random Forest，简称RF)与梯度提升树(Gradient Boosting Trees，简称GBM)。而近年在Kaggle 竞赛平台中最火红的XGBoost 也是基于GBM 所延伸出来的演算法。在解释集成树有三个非常好用的方法：特征重要度(Feature Importance)部...
原创
2023-05-17 19:02:27
185阅读
学习总结文章目录学习总结一、二、Reference【内容概要】理解随机森林的训练和预测流程，特征重要性和oob得分计算
原创
2022-08-25 11:00:31
117阅读
基于信息熵的决策树构建过程, 随机森林理解
原创
2022-08-22 12:21:37
131阅读
DecisionTreeRegressor---回归树一.重要参数criterion:1）输入"mse"使用均方误差mean squared error(MSE)，父节点和叶子节点之间的均方误差的差额将被用来作为 特征选择的标准，这种方法通过使用叶子节点的均值来最小化L2损失2）输入“friedman_mse”使用费尔德曼均方误差，这种指标使用弗里
bagging方法（自举汇聚法 bootstrap aggregating） boosting分类：最流行的是AdaBoost(adaptive boosting) 随机森林（random forest） GBDT-Gradient Boost Decision Tree（MART） 迭代决策树入门
转载
2017-04-28 17:51:00
130阅读
2评论
1.单元测试完成最小的软件设计单元的验证工作，目标是确保模块能被正确的编码。使用过程设计描述作为指南，对重要的控制路径进行测试，以发现模块内部的错误。通常情况下是白盒的。对代码的风格和规则，程序设计和结构，业务逻辑等进行静态测试，及早发现不易解决的错误。2.集成测试通过测试，发现模块接口有关的问题。目标是把通过了单元测试的模块拿来，构造一个在设计中描述的程序结构。应该避免一次性的集成，采用增量集成
GBDT(Gradient Boosting Decision Tree) 又叫 MART（Multiple Additive Regression Tree)，是一种迭实
原创
2022-12-14 16:23:13
240阅读
文章目录一、信息论基础二、分类树的节点分裂三、CART树四、决策树的剪枝五、
原创
2022-08-25 11:49:08
479阅读
前言：内容参考周志华老师的《机器学习》，确实是一本好书，不过本科生读懂还是有很大难度的，大多数模型都是直接给出公式，其实自己私下有推导，涉及好多自己不懂的数学知识，会一点点补充的机器学习专栏：机器学习——线性回归（预测）机器学习——逻辑回归（分类）机器学习——特征缩放机器学习——正则化机器学习——决策树文章目录一、决策树基本流程二、划分选择1、信息增益（ID3算法）2、信息增益率（C4.5算法）3
单决策树C4.5由于功能太简单。而且非常easy出现过拟合的现象。于是引申出了很多变种决策树。就是将单决策树进行模型组合，形成多决策树，比較典型的就是迭代决策树GBRT和随机森林RF。在近期
原创
2021-08-06 16:47:56
2546阅读
引言 神经网络模型，特别是深度神经网络模型，自AlexNet在Imagenet Challenge 2012上的一鸣惊人，无疑是Machine Learning Research上最靓的仔，各种进展和突破层出不穷，科学家工程师人人都爱它。 机器学习研究发展至今，除了神经网络模型这种方法路径外，还存在 ...
转载
2021-07-29 18:44:00
440阅读
一天，小迪与小西想养一只宠物。小西：小迪小迪，好想养一只宠物呀，但是不知道养那种宠物比较合适。小迪：好呀，养只宠物会给我们的生活带来很多乐趣呢。不过养什么宠物可要考虑好，这可不能马虎。我们需要考虑一些比较重要的问题。小西：我也考虑了好多呀，可是还是很难去选择。我想养可爱的小兔兔，可是兔兔吃得很挑剔，又想养狗狗，可是狗狗每天都需要遛它，怕自己没有时间呀。小迪：其实我们可以绘制一个决策树，决策树是机器
转载
2023-09-20 07:54:41
50阅读
学习总结（1）任务：理解泛化误差分解的过程，掌握bagging的性质，掌握四种集成模式的工作流程。
原创
2022-08-25 11:01:04
99阅读
加深对决策树, 集成学习理解, 如bagging, boosting, 为接下来XGBoost推导做准备
原创
2022-08-22 13:58:08
90阅读
小记 因为最近学习了一些关于XGBoost的知识，所以想要把关于树形算法总结学习一下，当初初入机器学习的时候学完分类决策树后就结束了树形算法的学习，接下来几节就是对自己最近学习的树形算法的记录和总结，方便自己回顾。主要学习参考了Microstrong和李航老师的统计学习方法在初入机器学习的时候，学习了分类决策树，在之前的博客中也写过，用id3算法实现，在这里又继续学习了回归决策树。其二者的区别就是
学习心得文章目录学习心得一、CART算法流程二、Reference一、CART算法流程二、Referenc
原创
2022-07-14 10:09:45
40阅读
