引言 在这篇文章中，我们将探讨决策树模型的最重要参数，以及它们如何防止过度拟合和欠拟合，并且将尽可能少地进行特征工程。我们将使用来自kaggle的泰坦尼克号数据。 导入数据 import pandas as pd
import numpy as np
import matplotlib as mpl
import matplotlib.pyplot as plt
data=pd.r
DecisionTreeRegressor 树模型参数:1.criterion gini(基尼系数) or entropy(信息熵) 2.splitter best or random 前者是在所有特征中找最好的切分点 后者是在部分特征中（数据量大的时候）3.max_features None（所有），log2，sqrt，N 特征小于50的时候一般使用所有的4.max_depth 数
转载
2024-06-21 18:21:21
52阅读
目录1. 概述2.graphviz对决策树模型进行可视化 2.1 通过gini算法 训练鸢尾花分类决策树 将训练好的模型保存成.dot文件2.2 采用graphviz将dot文件转化为png图片2.3 查看图片2.4 虚拟环境中安装graphviz 直接调用api查看决策树模型2.4.1 虚拟环境中安装graphviz 2.4.2 直接调用ap
转载
2024-07-31 17:16:04
0阅读
决策树学习的时候手抄了很多大佬们的笔记，这是从手抄本上重新整理的，有空搜一搜把参考过的大佬们的链接贴上来。1. 几种常见算法的简单对比算法类别算法特点对比损失函数随机森林（RF）bagging方法，基于样本对样本进行有放回采样，多次采样来训练不同树，最后投票得到结果adaboostboosting方法，基于样本提高被错分样本的权重，最后加权计分来得到结果，使用的决策树通常为单层决策树（一个决策点）
转载
2024-06-24 10:21:36
56阅读
决策树(decision tree)是一种基本的分类与回归方法。 决策树的构建通常可以概括为3个步骤：特征选择、决策树的生成和决策树的修剪。1、特征选择 特征选择在于选取对训练数据具有分类能力的特征。这样可以提高决策树学习的效率，如果利用一个特征进行分类的结果与随机分类的结果没有很大差别，则称这个特征是没有分类能力的。经验上扔掉这样的特征对决策树学习的精度影响不大。通常特征选择的标准是信息
转载
2024-04-18 14:50:24
338阅读
如图，为使用到的公式，信息熵表明样本的混乱程度，增益表示熵减少了，即样本开始分类，增益率是为了平衡增益准则对可取值较多的属性的偏好，同时增益率带来了对可取值偏小的属性的偏好，实际中，先用增益进行筛选，选取大于增益平均值的，然后再选取其中增益率最高的。以下代码纯粹手写，未参考其他人代码，如果问题，请不吝赐教。1，计算信息熵的函数import numpy as np
# 计算信息熵
# data:li
转载
2024-04-07 08:57:55
0阅读
决策树的部分理解决策树 是表示基于特征对实例进行分类的树形结构从给定的训练数据集中，依据特征选择的准则，递归的选择最优划分特征，并根据此特征将训练数据进行分割，使得各子数据集有一个更好的分类的过程决策树算法的三要素：特征选择决策树生成决策树剪枝（暂时没接触到）关于决策树生成：决策树的生成过程就是使用满足划分准则的特征不断的将数据集划分为纯度更高，不确定性更小的子集的过程对于当前数据集D的每一次的
3.1、摘要 在前面两篇文章中，分别介绍和讨论了朴素贝叶斯分类与贝叶斯网络两种分类算法。这两种算法都以贝叶斯定理为基础，可以对分类及决策问题进行概率推断。在这一篇文章中，将讨论另一种被广泛使用的分类算法——决策树（decision tree）。相比贝叶斯算法，决策树的优势在于构造过程不需要任何领域知识或参数设置，因此在实际应用中，对于
摘要：本部分对决策树几种算法的原理及算法过程进行简要介绍，然后编写程序实现决策树算法，再根据Python自带机器学习包实现决策树算法，最后从决策树引申至集成学习相关内容。 1.决策树 决策树作为一种常见的有监督学习算法，在机器学习领域通常有着不错的表现，决策树在生活中决策去做某件事时，会根据自己的经验考虑到多种因素，那么在程序逻辑中使用if~else的堆叠，决定最终结果的过程其实就算是
转载
2024-02-15 14:27:02
81阅读
节点分裂，特征选择从概率学角度，样本集中不同样本类别分布地越均匀，说明不确定性越大，比如投掷硬币，50%正，50%负，完全不确定，而决策树模型就是需要选取特征，通过特征取值对样本进行子集划分，使得子集中的不确定性减少。描述不确定性的算法模型：1 gini纯度 2 信息熵 两个函数都是在样本分布越均匀时取值越大。 而gini纯度使用幂，信息熵使用对数，gini对于计算机计算量更小特征选择的过程就是在
转载
2024-03-27 07:45:15
55阅读
决策树(Decision Tree）是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。在机器学习中，决策树是一个预测模型，他代表的是对象属性与对象值之间的一种映射关系。Entropy（熵） = 系统的凌乱程度
转载
2024-07-25 14:23:03
123阅读
Python相关函数： extend（）。在原矩阵的基础上进行扩展。比如[2,1,1].extend([1,1])=[2,1,1,1,1].决策树算法：它是一种典型的分类算法，将样本数据按照分类因素构造决策树，当对新数据进行判断时，将其按照决策树，逐渐选择分支，最终确认新数据的分类。比如，将生物进行分类：先按照是否是动物分为动物类及植物类，然后对动物类按照生活环境分为陆生、水生、两栖类，以此
转载
2023-10-25 21:55:30
43阅读
1.基尼系数：最大为1，最小为0。越接近于0代表收入越平等，越接近于1代表收入越悬殊。那么在决策树分类中，Gini系数越小，数据集合大小越平等，代表集合数据越纯。我们可以在分类前计算一下Gini系数，分类后在计算一下Gini系数。找到分类后最小的基尼系数就代表分类条件最好。我们一定要找到某个分类条件可以使得分类后的基尼系数最小。可以尝试多个分类条件，哪个分类条件分类完成后基尼系数最小，哪个分类条件
转载
2024-04-07 15:43:22
317阅读
就决策树来说，算法本身是(为数不多的)天然支持categorical feature的机器学习算法，但是如果是high cardinality，那么理论上最优的split要遍历所有二分组合，是指数级的复杂度，Python的implementation只解决数值型feature，把这个难题丢给用户了，xgboost也是一样，作者的解释是为了给用户更多自主权决定如何处理categorical feat
转载
2024-07-31 10:47:20
58阅读
自说原理：决策数是用训练集训练出一棵树，树怎么分叉是由属性（特征决定），测试集的属性按照这个树一直走下去，自然就分类了。一般树的深度越小越好，那如何选属性作为根节点，又选择哪一个属性作为第二个分叉点尼？这就用到了信息熵与信息增益的知识。ID3中选择信息增益大的，C4.5中选择增益率大的。以书中的数据集为例： 属性1 no surfacing属性2 flippers标签1.
转载
2024-04-14 10:01:13
144阅读
浅谈决策树算法思想概述以“树”为原型。决策过程的不断深入，就如树从根至叶，一步步递进。决策树算法组成1、特征选择 特征选择的目的是选取能够对训练集分类的特征。特征选择的关键是准则：信息增益、信息增益比、Gini指数 2、树的生成 通常是利用信息增益最大、信息增益比最大、Gini指数最小作为特征选择的准则。从根节点开始，递归的生成决策树。相当于是不断选取局部最优特征，或将训练集分割为基本能够正确分类
0x00 前言 决策树学习算法有三个步骤：特征选择决策树生成决策树剪枝特征选择，就是决策树的构造过程。为了找到最优的划分特征，我们需要先了解一些信息论的知识。信息熵(information entropy)条件熵(conditional entropy)信息增益(information gain)信息增益率(information gain ratio)基尼指数(Gini index)0x01 信
本章介绍的是决策树算法，决策树算法是一类非参的模型，在学习过程中没有显式的参数训练过程。一:如何生成决策树？ 1. 决策树的生成可以视作对样本空间反复划分成一个个区域的过程，这些区域互不相交，且并集为整个样本空间。用于分类时，每个区域返回一个类别判断或者类别判断的概率。算法采用递归这种计算机非常善于处理的操作进行。对递归来说最重要的便是设置递归的
转载
2024-09-28 21:24:04
35阅读
今天用python实现了一个决策树模型，python做机器学习有大量的库支持，简洁高效，没有深厚数学与算法基础的人也可以调用库来实现机器学习模型。当然大家想做好机器学习还是要好好积淀深厚的知识，只当调包侠能做的东西非常有限啊。 本文是对经典的鸢尾花数据集做分类，大家需要下载sklearn、pandas、m
转载
2023-06-08 20:17:23
116阅读
1.决策树的优缺点优点：决策树易于理解和实现. 人们在通过解释后都有能力去理解决策树所表达的意义对于决策树，数据的准备往往是简单或者是不必要的 . 其他的技术往往要求先把数据一般化，比如去掉多余的或者空白的属性能够同时处理数据型和常规型属性，其他的技术往往要求数据属性的单一在相对短的时间内能够对大型数据源做出可行且效果良好的结果对缺失值不敏感可以处理不相关特征数据效率高，决策树只需要一次构建，反复
