前言：内容参考周志华老师的《机器学习》，确实是一本好书，不过本科生读懂还是有很大难度的，大多数模型都是直接给出公式，其实自己私下有推导，涉及好多自己不懂的数学知识，会一点点补充的机器学习专栏：机器学习——线性回归（预测）机器学习——逻辑回归（分类）机器学习——特征缩放机器学习——正则化机器学习——决策树文章目录一、决策树基本流程二、划分选择1、信息增益（ID3算法）2、信息增益率（C4.5算法）3
转载
2024-04-25 06:54:14
232阅读
一. 概述上一节，我们介绍了决策树的一些基本概念，包括树的基本知识以及信息熵的相关内容，那么这次，我们就通过一个例子，来具体展示决策树的工作原理，以及信息熵在其中承担的角色。有一点得先说一下，决策树在优化过程中，有3个经典的算法，分别是ID3，C4.5，和CART。后面的算法都是基于前面算法的一些不足进行改进的，我们这次就先讲ID3算法，后面会再说说它的不足与改进。二. 一个例子众所周知，早上要不
转载
2024-07-24 21:04:17
26阅读
在听了易佳咨询骆老师的讲课后，回来做作业。要把P339的 决策树的灰色部分自己会计算，图是这样的：这里有几个概念。 决策节点，机会节点，分支结束(即树的叶子结点)。以下是个人理解，仅供参考和备考用，可能不太严谨：一般画图从左往右画，可见有点像思维导图。但是不一样的是，概念不太相同。老外是资本主义社会，一切都喜欢用钱来测量，这个EMV也是如此, M是Monetary的意思
转载
2024-03-18 13:42:11
130阅读
训练集有多大？数据集小：可选择高偏差/低方差的分类器。（低偏差/高方差的分类器（LR）更加容易过拟合）数据集小：选择低偏差/高方差的分类器。这样可以训练出更加准确的模型。Logistic回归(Logistic Regression, LR)1、使用LR可以快速搭建出一个模型来（也不需要考虑样本是否相关），如果模型效果不怎么样，也可以得到一个基准。2、如果想要通过调节概率阈值来分类的话，使用LR更加
转载
2024-04-05 12:46:58
189阅读
（该文为个人的一个记录，也许有错，可以参考下）决策树模型建立1.点击源、Excel，在空白处得到一个Excel点击生成的Excel，导入要处理的数据，再点确定 PS：点击上图中的预览可以查看表格数据 2.点击字段选项、类型，在空白得到一个类型图标 点生成的类型图标，点选取值，选择输入的数据和要预测的目标（目标测量要为分类，不能是连续），最后点确定即可。3.点击 分区，
转载
2024-04-05 10:59:18
147阅读
目录前言一、回归决策树可视化图构建二、分类器构建三、数据敏感性的决策树模型构造影响四、回归模型构建总结 前言上一节我们简单的介绍了决策树的基本原理与使用，现在我们将会详细的通过实战案例介绍决策树一、回归决策树可视化图构建这次我们用房屋数据集去构建导包数据集准备import matplotlib
matplotlib.use('TkAgg')
import matplotlib.pyplot as
转载
2024-05-30 21:24:05
44阅读
决策树，听名字就知道很简单，所以这个算法我也是非常简单的过一下构建决策树 Decision Trees下图的样本，通过决策树，要进行三次分割代码是十分简单#导入模块
from sklearn import tree
X = [[0, 0], [1, 1]]
Y = [0, 1]
#创建分类器，进行拟合
clf = tree.DecisionTreeClassifier()
clf = c
转载
2024-05-05 13:30:24
0阅读
数据：14天打球情况
特征：4种环境变化，outlook观察，temperature温度，humidity湿度，windy刮风
目标：构造决策树
根据四种特征决策play
划分方式：4种
问题：谁当根节点呢？
依据：信息增益
在历史数据中（14天）有9天打球，5天不打球，所以此时的熵应为：
关于log的底，选取什么都可以，但是要统一
4个特征逐一分析，先从outlook特征开始
转载
2024-04-08 00:00:31
46阅读
决策树的基本原理： 决策树是一种自上而下，对样本数据进行树形分类的过程，一棵决策树包含一个根节点内部节点和叶节点。其中每个内部结点表示一个特征或属性，叶结点表示类别。一个困难的预测问题，通过树的分支节点，被划分成两个或多个较为简单的子集，从结构上划分为不同的子问题。将依规则分割数据集的过程不断递归下去（Recursive Partitioning）。决策树作为最常见的监督学习模型，常被用来解决分类
转载
2024-03-01 08:37:10
103阅读
一、决策树的优缺点
优点：计算复杂度不高，输出结果易于理解，对中间值的缺失值不敏感，可以处理不相关特征数据。
缺点：可能会产生过度匹配的问题。
使用数据类型：数值型和标称型。
二、一个实例
一天，老师问了个问题，只根据头发和声音怎么判断一位同学的性别。 为了解决这个问题，同学们马上简单的统计了7位同学的相关特征，数据如下：
A同学思路，
转载
2024-04-03 00:04:26
32阅读
决策树1.定义：决策树(Decision Tree)是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。在机器学习中，决策树是一个预测模型，他代表的是对象属性与对象值之间的一种映射关系。Entropy = 系统的凌乱程度，使用算法ID3,
转载
2024-09-20 20:08:57
180阅读
1.介绍ID3树与CART树的区别：
ID3算法中，选择的是信息增益来进行特征选择，信息增益大的特征优先选择。而在C4.5中，选择的是信息增益比来选择特征，以减少信息增益容易选择特征值多的特征的缺点。但是无论是ID3还是C4.5，都是基于熵的模型，里面会涉及到大量的对数运算，能不能简化一下？GINI系数的计算公式：
假设有数据集D，定义GINI指数：记住上面的公式我们会在后面计算的时候
转载
2024-09-21 11:00:51
12阅读
树模型和线性模型有什么区别呢？其中最重要的是，树形模型是一个一个特征进行处理并且每增加一个特征相当于在数据中切一刀，之前线性模型是所有特征给予权重相加得到一个新的值。决策树与逻辑回归的分类区别也在于此，逻辑回归是将所有特征变换为概率后，通过大于某一概率阈值的划分为一类，小于某一概率阈值的为另一类；而决策树是对每一个特征做一个
转载
2024-05-16 10:02:18
32阅读
决策树（Decision Tree）简介决策树是一种分类和回归算法。比较适合分析离散数据。如果是连续数据要先转成离散数据在做分析。决策树简单例子根据以上表格可以根据年龄为根节点画出的决策树如下所示：也可以把收入和是否为学生等来作为根节点来画出决策树，因此决策树不唯一。熵（Entropy）概念1948年，香农提出了“信息熵”的概念。一条信息的信息量大小和它的不确定性有直接的关系，要搞清楚一件非常不确
转载
2024-06-11 14:20:26
58阅读
在软件行业，软考（计算机软件专业技术资格和水平考试）是衡量从业人员专业能力和技术水平的重要途径。其中，涉及到的一些高级考点，如EMV（期望货币价值）决策树计算，更是考验考生对于数据分析和决策科学的掌握程度。本文将围绕软考中的EMV决策树计算进行深入探讨，旨在帮助考生更好地理解并应用这一重要工具。
首先，我们来了解一下什么是EMV决策树。EMV决策树是一种基于概率和成本的决策分析工具，它通过树状图
原创
2024-03-06 22:51:47
197阅读
本课程是中国大学慕课《机器学习》的“决策树”章节的课后代码。课程地址：https://www.icourse163.org/course/WZU-1464096179课程完整代码：https://github.com/fengdu78/WZU-machine-learning-course代码修改并注释：黄海广，haiguang2000@wzu.edu.cn机器学习练习7 决策树代码修改并注释：黄
##从智库百科摘取优点：1、可以生成可以理解的规则2、计算量相对不是很大3、可以处理连续和种类字段4、可以清晰的显示哪些字段比较重要（这一特性可以用于特征选择）缺点：1、对连续型字段比较难预测2、对于有时间顺序数据，需要许多预处理工作（为什么？）3、当类别较多时，错误可能增加的比较快4、对处理特征关联性比较强的数据时，表现的不是太好5、一般的算法分类的时候，只是根据一个字段来分类（为什么？）适用范
转载
2024-04-25 21:39:20
26阅读
目录一、什么是决策树二、决策树学习1、特征选择1、ID3:样本集合D对特征A的信息增益 2、样本集D对特征A 的信息增益比（C4.5）3、样本集合D的 基尼指数（CART）4、python代码展示： 2、决策树生成3、决策树的剪枝 一、什么是决策树决策 + 树，我们的决策过程就像树的成长一样。由一个根（节点）不断的发散。决策树是一种树形结构，其中每个内部节点表示一个属
决策树回归核心思想：相似的输入必会产生相似的输出。例如预测某人薪资：年龄：1-青年，2-中年，3-老年 学历：1-本科，2-硕士，3-博士 经历：1-出道，2-一般，3-老手，4-骨灰 性别：1-男性，2-女性年龄学历经历性别==>薪资1111==>6000(低)2131==>10000(中)3341==>50000(高)…………==>…1322==>?样本数
【机器学习】决策树与集成决策树ID3C4.5CART（分类回归树）分类树回归树防止过拟合决策树集成梯度提升树AdaBoostGBDT(即基于一般损失的分类模型）GBRT（即基于一般损失的回归模型）XGBoost损失函数推导特点缺点模型参数LightGBM(light gradient boosting machine)RandomForest 决策树决策树包括分支节点，叶节点，分支。分治节点表示
