①起源：Boosting算法Boosting算法的目的是每次基于全部数据集，通过使用同一种分类器不同的抽取参数方法（如决策树，每次都可以抽取不同的特征维度来剖分数据集）训练一些不同弱分类器（单次分类错误率>0.5），然后将其组合起来，综合评估（默认认为每个分类器权重等价）进行分类。AdaBoost算法进行了对其进行了改进。一、每次训练分类器时，给予每条数据用于计算误差的不同权重D
转载
2023-07-06 11:26:35
124阅读
随机森林和adaboost都是集成学习比较经典的模型随机森林和adaboost所使用的思想不同随机森林运用bagging的思想，相当于并行，利用随机的方式将许多决策树组合成一个森林，每个决策树在分类的时候决定测试样本的最终类别adaboost运用boosting的思想，是一种迭代算法，针对同一个训练集训练不同的分类器并加权累加到总模型中，将不同的学习器线性组合得到最终的强学习器学习器训练使用的样本
转载
2024-02-14 13:22:04
84阅读
主要内容：4 集成学习（下）4.1决策树 4.1.1 CART模型（见上讲） 4.1.2 特征选择 4.1.3 树的生成 4.1.4
转载
2024-05-05 06:43:51
63阅读
本系统实现了决策树生成，只要输入合适的数据集，系统就可以生成一棵决策树。 数据集的输入使用二维数组，输入的个数为：序号+特征+分类结果。同时要把特征名以及对应的特征值传给程序，如此一来系统就可以建决策树。 关于决策树的定义这里不再列出，CSDN上有很多类似的博客。这些博客实现的
转载
2023-08-06 07:40:06
206阅读
1、决策树概念官方严谨解释：决策树经典的机器学习算法，是基于树的结构来进行决策的。它是一种典型的分类方法，首先对数据进行处理，利用归纳算法生成可读的规则和决策树，然后使用决策对新数据进行分析。本质上决策树是通过一系列规则对数据进行分类的过程。我的理解：就是不断的做“决策”，做出的许多决策形成多个分支，最后变成一个树的形状。如图所示是一个判断用户是否喜欢某电影的决策过程。2、熵信息熵：指系统混乱的程
转载
2024-01-13 13:00:27
46阅读
一、什么是决策树要了解决策树，先了解“决策”。决策（decision）是指决定的策略或办法，是为人们为各自事件出主意、做决定的过程。我们每天都在决策，如：今晚吃什么、明天穿什么。 了解了“决策”以后，再了解一下“树”。树（tree）是数据结构中的一种，是由个有限节点组成一个具有层次关系的集合。之所以称其为树，是因为它看起来像一棵倒挂的树。 了解好以上两个概念以后，理解决策树就非常容易了。决策树（d
转载
2024-01-05 20:13:11
80阅读
1：决策树原理理解
决策树（decision tree）是一个树结构（可以是二叉树或非二叉树）。
转载
2023-05-29 23:25:34
204阅读
决策树（Decision Tree） 决策树Decision Tree决策树例子判别算法结束条件结果总结 决策树例子决策树是用于分类的一种机器学习算法。其最大的特点就是简单，直观. 由于资料来自于之前的笔记。原例子的出处找不到，干脆就手绘算了~~XD。 其中如果数据不是离散值，要先处理成离散值再进行决策树的计算。 （图1）用一个例子来讲吧。 如上图，现在是有14条数据都从调研中得到，其中是研究
转载
2024-05-16 06:48:33
57阅读
基于单层决策树的AdaBoost算法源码 Mian.py AdaBoost.py WeakClassifer.py data
转载
2019-02-14 21:47:00
62阅读
2评论
一、主类成员认识 我们概念讲解是在这里，下面便是成员变量。我们一点一点看，最后拉通走一遍。整个程序我是顺序运行的，给一个标题方便大家去找对应的方法public class ID3 {
/**
* 数据集
*/
Instances dataset;
/**
* 这个数据集是纯的（只有一个标签）？
*/
boolean pure;
/**
* 决策类的数量. 二元分
转载
2023-11-22 17:18:07
47阅读
本篇继续进阶一点，写一下 梯度提升决策树(Gradient Boosting Decision Tree)还是先上代码，梯度提升决策树是能够支持多种损失函数的，关于 损失函数的定义，老规矩，自己搜。既然要支持多种损失函数，因此先写个接口类，然后再来个实现，后面会用到损失函数接口类public interface LossFunction {
publ
转载
2024-02-22 11:09:54
61阅读
决策树的分类过程和人的决策过程比较相似，就是先挑“权重”最大的那个考虑，然后再往下细分。比如你去看医生，症状是流鼻涕，咳嗽等，那么医生就会根据你的流鼻涕这个权重最大的症状先认为你是感冒，接着再根据你咳嗽等症状细分你是否为病毒性感冒等等。决策树的过程其实也是基于极大似然估计。那么我们用一个什么标准来衡量某个特征是权重最大的呢，这里有信息增益和基尼系数两个。ID3算法采用的是信息增益这个量。根据《统计
转载
2023-07-13 16:41:34
32阅读
一、简介决策树是一个预测模型；他代表的是对象属性与对象值之间的一种映射关系。树中每个节点表示某个对象，而每个分叉路径则代表的某个可能的属性值，而每个叶结点则对应从根节点到该叶节点所经历的路径所表示的对象的值。决策树仅有单一输出，若欲有复数输出，可以建立独立的决策树以处理不同输出。 数据挖掘中决策树是一种经常要用到的技术，可以用于分析数据，同样也可以用来作预测（就像上面的银行官员用他来预测贷款风险）
先上问题吧，我们统计了14天的气象数据(指标包括outlook，temperature，humidity，windy)，并已知这些天气是否打球(play)。如果给出新一天的气象指标数据:sunny,cool,high,TRUE，判断一下会不会去打球。table 1
outlook
temperature
humidity
windy
play
sunny
hot
high
FALSE
no
sun
转载
2024-08-28 22:04:33
69阅读
先上问题吧，我们统计了14天的气象数据(指标包括outlook，temperature，humidity，windy)，并已知这些天气是否打球(play)。如果给出新一天的气象指标数据:sunny,cool,high,TRUE，判断一下会不会去打球。table 1outlooktemperaturehumiditywindyplaysunnyhothighFALSEnosunnyhothighTR
转载
2023-12-13 07:37:38
84阅读
一、简介决策树（Decision Tree）是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。决策树是一种树形结构，其决策分支画成图形很像一棵树的枝干，故称为决策树。决策树由根节点、内部节点和叶节点组成。每一棵决策树只有一个根节点，每个内部节点表示一个属性上的测试，每个分支代表一个测试输出
转载
2024-06-25 20:52:16
19阅读
ID3决策树也是决策树的一种，其作用在于根据已有数据训练决策树，并通过决策树的分支实现对新数据的分类，是一种有监督的学习。 在生成决策树的过程中，ID3使用的信息熵增益对子节点类别进行确定。根据信息熵越是有序的数据熵值越低，信息熵增益越大表示当前属性对于数据的分类结果越好。 信息熵计算公式: Info=−∑i=1nP(xi)∗log2P(xi)信息增益:
Gain(A)=Info(D)−In
转载
2023-10-19 00:11:34
71阅读
决策树回归核心思想：相似的输入必会产生相似的输出。例如预测某人薪资：年龄：1-青年，2-中年，3-老年 学历：1-本科，2-硕士，3-博士 经历：1-出道，2-一般，3-老手，4-骨灰 性别：1-男性，2-女性年龄学历经历性别==>薪资1111==>6000(低)2131==>10000(中)3341==>50000(高)…………==>…1322==>?样本数
随机森林： 随机森林是利用随即的方式将许多决策树结合成一个森林，每个决策树在分类的时候决定测试样本的最终类别。 在Bagging策略的基础上进行修改后的一种算法 从样本集中用bootstrap采样选出n个样本； 从所有属性中随机选择k个属性，选择出最佳分割属性作为节点创建决策树； 重复以上两步m次，即建立m可决策树； 这m个决策树形成随机森林，通过投票表决结果决定数据属于哪一类； RF算法在实际应
转载
2024-08-11 08:54:25
29阅读
决策树是最经典的机器学习模型之一。它的预测结果容易理解，易于向业务部门解释，预测速度快，可以处理类别型数据和连续型数据。本文的主要内容如下：信息熵及信息增益的概念，以及决策树的节点分裂的原则；决策树的创建及剪枝算法；scikit-learn中决策树算法的相关参数；使用决策树预测泰坦尼克号幸存者示例；scikit-learn中模型参数选择的工具及使用方法；聚合（融合）算法及随机森林算法的原理。注意：
转载
2023-08-07 14:25:21
161阅读
