一、概述：1、信息熵： 公式：H[x] = -∑p(x)log2p(x) 不确定性越大，信息熵越大2、决策树评价： 优点：小规模数据集有效 缺点：处理连续变量不好；类别较多时，错误增加的比较快；不能处理大量数据二、决策树生成算法：1、ID3算法： 选择最大化信息增益来对结点进行划分。缺点：偏向于具有大量值的属性，在训练集中，某个属性所取的不同值的个数越多，那么越有可能拿它来作为分裂属性。 比如一个
转载
2023-09-20 11:12:12
64阅读
上篇文章介绍了决策树算法的理论篇，本节来介绍如何用决策树解决实际问题。决策树是常用的机器学习算法之一，决策树模型的决策过程非常类似人类做判断的过程，比较好理解。决策树可用于很多场景，比如金融风险评估，房屋价格评估，医疗辅助诊断等。要使用决策树算法，我们先来介绍一下 scikit-learn。1，scikit-learnscikit-learn 是基于Python 的一个机器学习库，简称为
转载
2023-10-01 14:25:34
165阅读
决策树用途&组成构造算法1. 特征选择metricID3：信息增益定义使用场景例子缺点C4.5: 信息增益比定义连续数值特征的处理（转化为二分类寻找阈值的问题）解决过拟合问题：剪枝问题CART(Classification And Regression Tree):定义使用场景后剪枝：基于代价复杂度优劣总结比较算法分析适用场景问题过拟合类别不均衡实现 用途&组成决策树是一个监督学
转载
2024-01-08 12:31:33
37阅读
机器学习中分类和预测算法的评估准确率：例如分类达到的准确率是多少 速度：准确率高，但是算法复杂度高不高（时间快不块） 强壮行：当样本集数据与一些噪音的时候或者有一些值缺失的时候，算法表现的是不是很好。 可规模性：当一下算法在小的数据集中表现良好，但是当数据集成指数形式增长的时候，变成很大的数据集时，算法的表现如何，是否可规模化。 可解释性：当算法做出一些特征值的选择和归类的时候，我们是否能容易的解
Matplotlib优势：Matlab的语法、python语言、latex的画图质量（还可以使用内嵌的latex引擎绘制的数学公式） 本节课接着上一节课，来可视化决策树，用Matplotlib注解绘制树形图1 Matplotlib 注解Matplotlib提供了一个注解工具：annotations，可以在数据图形上添加文本工具。 Matplotlib实际上是一套面向对象的绘图库，它所绘制的图表
转载
2023-08-15 15:31:24
247阅读
决策树决策树在周志华的西瓜书里面已经介绍的很详细了(西瓜书P73-P79)，那也是我看过讲的最清楚的决策树讲解了，我这里就不献丑了，这篇文章主要是分享决策树的代码。在西瓜书中介绍了三种决策树，分别为ID3,C4.5和CART三种决策树，三种树出了分裂的计算方法不一样之外，其余的都一样，大家可以多看看书，如果有什么不清楚的可以看看我的代码，决策树的代码算是很简单的了，我有朋友面试的时候就被要求写决策
转载
2023-08-09 14:44:43
271阅读
决策树(Decision Tree)是一种非参数的有监督学习方法，它能够从一系列有特征和标签的数据中总结出决策规则，并用树状图的结构来呈现这些规则，以解决分类和回归问题。决策树尤其在以数模型为核心的各种集成算法中表现突出。开放平台：Jupyter lab根据菜菜的sklearn课堂实效生成一棵决策树。三行代码解决问题。from sklearn import tree #导入需要的模块
clf =
转载
2023-07-25 14:16:12
178阅读
决策树 算法优缺点： 优点：计算复杂度不高，输出结果易于理解，对中间值缺失不敏感，可以处理不相关的特征数据 缺点：可能会产生过度匹配的问题 适用数据类型：数值型和标称型 算法思想： 1.决策树构造的整体思想： 决策树说白了就好像是if-else结构一样，它的结果就是你要生成这个一个可以从根开始不断判断选择到叶子节点的树，但是呢这里的if-else必然不会是让我们认为去设置的，我们要做的是提供一种方
转载
2023-06-28 15:18:00
231阅读
上个星期去崇州参加比赛，回来老师已经讲到了「分类」，那一节课学了决策树，现在继续课后巩固一下。什么是决策树概念决策树(decision tree)是一种类似于流程图的树结构(可以是二叉树也可以不是)，其中，每个内部节点(非叶子结点)表示在一个属性上的测试，每个分枝代表该测试的一个输出，而每个叶子结点存放一个类标号。书的最顶层节点是根节点。决策树是一种基本的分类与回归方法，它可以看作if-then规
转载
2024-05-17 02:31:59
48阅读
Python机器学习之-决策树篇决策树作为机器学习常用算法，更是作为集成学习的基础，不可谓不重要，在这里简单介绍决策树的原理及应用一：决策树原理顾名思义决策树是一个树状结构（由于算法的不同也决定了是二叉树还是多叉树，后面会详细描述），从根节点走向叶子节点，实际上决策树就相当于是if-else，便于理解，下图形象的展示了决策树的学习过程，从上到下的节点顺序代表了特征对结果的重要性顺序二：决策树的三种
转载
2024-03-04 17:00:39
18阅读
决策树决策树(DTs)是一种用于分类和回归的非参数监督学习方法。目标是创建一个模型，通过从数据特性中推导出简单的决策规则来预测目标变量的值。 例如，在下面的例子中，决策树通过一组if-then-else决策规则从数据中学习到近似正弦曲线的情况。树越深，决策规则越复杂，模型也越合适。决策树的一些优势是:便于说明和理解，树可以可视化表达；需要很少的数据准备。其他技术通常需要数据标准化，需要创建虚拟变
转载
2024-05-30 21:07:56
31阅读
一、决策树分类器第三方库参数及涉及的函数参数介绍（1）DecisionTreeClassifier(criterion='gini', splitter='best', max_depth=None,min_samples_split=2, min_samples_leaf=1,min_weight_fraction_leaf=0.0,max_features=None,&nb
转载
2023-07-17 12:16:40
142阅读
决策时主要用于做分类任务，通过变形也可以做回归任务（叫做回归树）。它是一颗数据结构中的树的概念，它的非叶节点对应属性，叶节点对应预测结果。在我之前关于西瓜书第一章绪论部分的笔记中就提到过，所有的模型都是对现实世界某一个函数的逼近。决策树也不例外。训练样例是由特征属性和类标组成，而分类任务则是根据这些特征属性来对类标进行预测，与回归任务预测变量是连续值不同，分类任务主要用于预测离散值。神经网络对用户
转载
2024-08-22 22:27:36
34阅读
在上一篇博文Python数据分析（8）----用python实现数据分层抽样中，实现了实验数据的抽取，那么在本文中，将用上述抽取到的数据进行实验，也就是用决策树进行分类。 在讲解实际的决策树分类之前，需要介绍一下决策树分类的sklearn中决策树模型参数释义：'''
scikit-learn中有两类决策树，它们均采用优化的CART决策树算法。
（1）回归决策树：DecisionTreeRegres
转载
2024-02-19 16:56:01
53阅读
Python实现一
在这里我们先调用sklearn算法包中的接口，看一下算法的效果。
实验数据（可能你并不陌生~~~）：
1.5 50 thin
1.5 60 fat
1.6 40 thin
1.6 60 fat
1.7 60 thin
1.7 80 fat
1.8 60 thin
1.8 90 fat
1.9 70 thin
1.9 80 fa
转载
2024-03-19 00:08:59
26阅读
1. 决策树决策树就像程序的if-else结构，是用于分割数据的一种分类方法。from sklearn.tree import DecisionTreeClassifier对于复杂的预测问题，通过建立树模型产生分支节点，被划分成两个二叉树或多个多叉树较为简单的子集，从结构上划分为不同的子问题。将依规则分割数据集的过程不断递归下去。随着树的深度不断增加，分支节点的子集越来越小，所需要提的问题数也逐渐
转载
2023-08-10 12:20:53
102阅读
### 决策树算法的流程
决策树算法是一种常用的机器学习算法，用于分类和回归问题。它通过构建一个树状模型来表示分类的决策规则。下面是实现决策树算法的Python库的步骤和代码示例。
#### 步骤
1. 收集数据集：首先，我们需要准备一个数据集，该数据集包含多个样本，每个样本有多个特征和对应的类别标签。
2. 分析数据集：我们需要对数据集进行分析，了解每个特征的含义和对分类的影响。
3.
原创
2023-12-26 07:23:58
40阅读
决策树是一种主要应用于数据分类场景的算法。它是一个树形结构，其中每个节点代表要素，每个边缘代表所做出的决策。从根节点开始，我们继续评估分类特征，并决定遵循特定的优势。每当有新数据点出现时，都会反复应用相同的方法，然后在研究所有必需的特征或将其应用于分类方案时得出最终结论。因此，决策树算法是一种监督学习模型，用于预测具有一系列训练变量的因变量。示例我们将获取kaggle提供的药物测试数据。第一步，我
转载
2023-07-01 09:09:21
141阅读
决策数(Decision Tree)在机器学习中也是比较常见的一种算法，属于监督学习中的一种。看字面意思应该也比较容易理解，相比其他算法比如支持向量机(SVM)或神经网络，似乎决策树感觉“亲切”许多。优点：计算复杂度不高，输出结果易于理解，对中间值的缺失值不敏感，可以处理不相关特征数据。缺点：可能会产生过度匹配的问题。使用数据类型：数值型和标称型。简单介绍完毕，让我们来通过一个例子让决策树“原形毕
转载
2023-05-24 16:07:28
358阅读
python3.x版本下，在用example_dict.keys()或者example_dict.values()取出字典中对应的键值时，取出的值总是会带有前缀。python2.x版本的不存在这个问题，可以直接使用书中的代码以下是python3.x版本代码：def plotTree(myTree, parentPt, nodeTxt):#if the first key tells you wha
转载
2023-07-31 17:48:32
110阅读
