0x00 前言 决策树学习算法有三个步骤：特征选择决策树生成决策树剪枝特征选择，就是决策树的构造过程。为了找到最优的划分特征，我们需要先了解一些信息论的知识。信息熵(information entropy)条件熵(conditional entropy)信息增益(information gain)信息增益率(information gain ratio)基尼指数(Gini index)0x01 信
浅谈决策树算法思想概述以“树”为原型。决策过程的不断深入，就如树从根至叶，一步步递进。决策树算法组成1、特征选择 特征选择的目的是选取能够对训练集分类的特征。特征选择的关键是准则：信息增益、信息增益比、Gini指数 2、树的生成 通常是利用信息增益最大、信息增益比最大、Gini指数最小作为特征选择的准则。从根节点开始，递归的生成决策树。相当于是不断选取局部最优特征，或将训练集分割为基本能够正确分类
所有 Analysis Services 数据挖掘算法都会自动使用功能选择来改善分析效果以及减轻处理工作量。用于功能选择的方法取决于生成模型所用的算法。控制决策树模型的功能选择的算法参数为 MAXIMUM_INPUT_ATTRIBUTES 和 MAXIMUM_OUTPUT。 算法 分析方法 注释 决策树兴趣性分数Shannon 平均信息量Bayesian with K2 PriorBa
转载
2024-10-08 12:27:17
33阅读
目录1. 概述2.graphviz对决策树模型进行可视化 2.1 通过gini算法 训练鸢尾花分类决策树 将训练好的模型保存成.dot文件2.2 采用graphviz将dot文件转化为png图片2.3 查看图片2.4 虚拟环境中安装graphviz 直接调用api查看决策树模型2.4.1 虚拟环境中安装graphviz 2.4.2 直接调用ap
转载
2024-07-31 17:16:04
0阅读
节点分裂，特征选择从概率学角度，样本集中不同样本类别分布地越均匀，说明不确定性越大，比如投掷硬币，50%正，50%负，完全不确定，而决策树模型就是需要选取特征，通过特征取值对样本进行子集划分，使得子集中的不确定性减少。描述不确定性的算法模型：1 gini纯度 2 信息熵 两个函数都是在样本分布越均匀时取值越大。 而gini纯度使用幂，信息熵使用对数，gini对于计算机计算量更小特征选择的过程就是在
转载
2024-03-27 07:45:15
55阅读
决策树(Decision Tree）是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。在机器学习中，决策树是一个预测模型，他代表的是对象属性与对象值之间的一种映射关系。Entropy（熵） = 系统的凌乱程度
转载
2024-07-25 14:23:03
123阅读
一、决策树介绍决策树是一种树模型，从根节点开始一步步走到叶子节点（决策过程），所有的数据最终都会落到叶子节点，这种算法既可以做分类也可以做回归。决策树的组成：结点和有向边。结点的类型又可以分成三种：根结点（第一个选择的分支的属性）、中间节点（继根节点后的非叶子结点）、叶子结点（表示最终的决策结果）在本次案例主要讲述分类决策树模型。二、构造决策树的基本流程 算法基本流程：将所有数据放在根节
转载
2024-03-27 22:32:38
59阅读
就决策树来说，算法本身是(为数不多的)天然支持categorical feature的机器学习算法，但是如果是high cardinality，那么理论上最优的split要遍历所有二分组合，是指数级的复杂度，Python的implementation只解决数值型feature，把这个难题丢给用户了，xgboost也是一样，作者的解释是为了给用户更多自主权决定如何处理categorical feat
转载
2024-07-31 10:47:20
58阅读
1.基尼系数：最大为1，最小为0。越接近于0代表收入越平等，越接近于1代表收入越悬殊。那么在决策树分类中，Gini系数越小，数据集合大小越平等，代表集合数据越纯。我们可以在分类前计算一下Gini系数，分类后在计算一下Gini系数。找到分类后最小的基尼系数就代表分类条件最好。我们一定要找到某个分类条件可以使得分类后的基尼系数最小。可以尝试多个分类条件，哪个分类条件分类完成后基尼系数最小，哪个分类条件
转载
2024-04-07 15:43:22
317阅读
摘要：本部分对决策树几种算法的原理及算法过程进行简要介绍，然后编写程序实现决策树算法，再根据Python自带机器学习包实现决策树算法，最后从决策树引申至集成学习相关内容。 1.决策树 决策树作为一种常见的有监督学习算法，在机器学习领域通常有着不错的表现，决策树在生活中决策去做某件事时，会根据自己的经验考虑到多种因素，那么在程序逻辑中使用if~else的堆叠，决定最终结果的过程其实就算是
转载
2024-02-15 14:27:02
81阅读
DecisionTreeRegressor 树模型参数:1.criterion gini(基尼系数) or entropy(信息熵) 2.splitter best or random 前者是在所有特征中找最好的切分点 后者是在部分特征中（数据量大的时候）3.max_features None（所有），log2，sqrt，N 特征小于50的时候一般使用所有的4.max_depth 数
转载
2024-06-21 18:21:21
52阅读
1.决策树的优缺点优点：决策树易于理解和实现. 人们在通过解释后都有能力去理解决策树所表达的意义对于决策树，数据的准备往往是简单或者是不必要的 . 其他的技术往往要求先把数据一般化，比如去掉多余的或者空白的属性能够同时处理数据型和常规型属性，其他的技术往往要求数据属性的单一在相对短的时间内能够对大型数据源做出可行且效果良好的结果对缺失值不敏感可以处理不相关特征数据效率高，决策树只需要一次构建，反复
什么是决策树单变量树单变量分类树剪枝由决策树提取规则一、什么是决策树决策树（decision tree）是一种用于监督学习 的层次模型，通过这种特殊的层次模型，局部区域可以通过少数几步递归分裂确定。决策树由一些内部决策节点和终端树叶组成。所谓决策节点，即运行某个判断/测试函数，来确定数据是否符合条件，从而进行选择分支地输出。树叶节点一般用来存放最终不可再分的数据集合，一个决策节点可以分支
本章介绍的是决策树算法，决策树算法是一类非参的模型，在学习过程中没有显式的参数训练过程。一:如何生成决策树？ 1. 决策树的生成可以视作对样本空间反复划分成一个个区域的过程，这些区域互不相交，且并集为整个样本空间。用于分类时，每个区域返回一个类别判断或者类别判断的概率。算法采用递归这种计算机非常善于处理的操作进行。对递归来说最重要的便是设置递归的
转载
2024-09-28 21:24:04
35阅读
决策树学习的时候手抄了很多大佬们的笔记，这是从手抄本上重新整理的，有空搜一搜把参考过的大佬们的链接贴上来。1. 几种常见算法的简单对比算法类别算法特点对比损失函数随机森林（RF）bagging方法，基于样本对样本进行有放回采样，多次采样来训练不同树，最后投票得到结果adaboostboosting方法，基于样本提高被错分样本的权重，最后加权计分来得到结果，使用的决策树通常为单层决策树（一个决策点）
转载
2024-06-24 10:21:36
56阅读
如图，为使用到的公式，信息熵表明样本的混乱程度，增益表示熵减少了，即样本开始分类，增益率是为了平衡增益准则对可取值较多的属性的偏好，同时增益率带来了对可取值偏小的属性的偏好，实际中，先用增益进行筛选，选取大于增益平均值的，然后再选取其中增益率最高的。以下代码纯粹手写，未参考其他人代码，如果问题，请不吝赐教。1，计算信息熵的函数import numpy as np
# 计算信息熵
# data:li
转载
2024-04-07 08:57:55
0阅读
决策树(decision tree)是由一个决策图和可能的结果（包括资源成本和风险组成），用来创建到达目的的规划。一般简单来说，就是 如何多维度的认知和做出选择。
决策树作为最基础、最常见的有监督学习模型，常用来做语分类问题、回归问题决策树算法3要素：特征选择、决策树生成、决策树剪枝决策树生成过程就是使用满足划分准则的特征不断的将数据集划分为纯度更高、不确定性更小的子集的过程对于当前数据集D的每一次划分，都希望根据某特种划分之后的各个子集的纯度更高，不确定性更小如何度量划分数据集前后的数据集的纯度以及不确定性呢？答案：特征选择准则常见的决策树算法：ID3、C
转载
2024-06-19 06:55:58
44阅读
自说原理：决策数是用训练集训练出一棵树，树怎么分叉是由属性（特征决定），测试集的属性按照这个树一直走下去，自然就分类了。一般树的深度越小越好，那如何选属性作为根节点，又选择哪一个属性作为第二个分叉点尼？这就用到了信息熵与信息增益的知识。ID3中选择信息增益大的，C4.5中选择增益率大的。以书中的数据集为例： 属性1 no surfacing属性2 flippers标签1.
转载
2024-04-14 10:01:13
144阅读
前言本篇内容为第六章内容，决策树模型。 为便于阅读，我将文章内容分为以下几个板块：基础知识实验内容拓展研究心得体会其中，各板块的介绍如下：基础知识
包含关于本章主题的个人学习理解，总结的知识点以及值得记录的代码及运行结果。实验内容
这是本篇的主题实验部分，也是老师发的实验内容，在电脑上（jupyter notebook）运行成功之后导出为markdown格式。其中，主标题为每一章的小节
转载
2024-05-05 07:09:07
97阅读
