信息论基础 熵：度量样本集合纯度最常用的指标，是对所有可能发生的事件产生的信息量的期望。 假设当前样本集合D的第k类样本比例为Pk(k=1,2,3,…，|y|),则D的熵定义为 联合熵：样本类别越多，状态数也就越多，熵就越大，混乱程度就越大。 当样本类别为均匀分布时，熵达到最大，且 0≤Ent(D)≤logn。 将一维随机变量分布推广到多维随机变量分布，则其联合熵 (Joint entropy)
转载
2024-10-16 19:21:56
115阅读
决策树算法简介概述特征选择决策树减枝 概述决策树是一种基本的分类和回归模型，在使用需要考虑三个方面的问题：1. 分类特征该如何选取；2. 决策树该如何生成；3. 决策树该如何减枝。特征选择决策数的特征选择有两个方法一个是基于信息熵一个是基于基尼指数的。一般我们将一个发生概率为p(x)的随机变量x的信息量表示为： 信息量越小表示这个随机变量可以提供的信息越少，当该随机量的出现概率为1时，它的信息量
adaboost有2个权重：样本权重和学习器权重，他们不是一个概念。样本权重w：假设甲乙丙三个样本，一开始权重都是1/3，假设他们的输出是1,1,-1; 那么总的输出是(1/3)*(1+1-1)=1/3;是大于0的，学习器1号判断正确类；但如果他们权重是1/6,1/6,4/6的话，那么总的输出是(1/6)*1+(1/6)*1-(4/6)*1=-(2/6);是小于0的，学习器1号判断错误类；所以改变
转载
2023-12-14 13:31:50
13阅读
1.决策树的优缺点优点：决策树易于理解和实现. 人们在通过解释后都有能力去理解决策树所表达的意义对于决策树，数据的准备往往是简单或者是不必要的 . 其他的技术往往要求先把数据一般化，比如去掉多余的或者空白的属性能够同时处理数据型和常规型属性，其他的技术往往要求数据属性的单一在相对短的时间内能够对大型数据源做出可行且效果良好的结果对缺失值不敏感可以处理不相关特征数据效率高，决策树只需要一次构建，反复
摘要：本部分对决策树几种算法的原理及算法过程进行简要介绍，然后编写程序实现决策树算法，再根据Python自带机器学习包实现决策树算法，最后从决策树引申至集成学习相关内容。 1.决策树 决策树作为一种常见的有监督学习算法，在机器学习领域通常有着不错的表现，决策树在生活中决策去做某件事时，会根据自己的经验考虑到多种因素，那么在程序逻辑中使用if~else的堆叠，决定最终结果的过程其实就算是
转载
2024-02-15 14:27:02
81阅读
目录1. 概述2.graphviz对决策树模型进行可视化 2.1 通过gini算法 训练鸢尾花分类决策树 将训练好的模型保存成.dot文件2.2 采用graphviz将dot文件转化为png图片2.3 查看图片2.4 虚拟环境中安装graphviz 直接调用api查看决策树模型2.4.1 虚拟环境中安装graphviz 2.4.2 直接调用ap
转载
2024-07-31 17:16:04
0阅读
节点分裂，特征选择从概率学角度，样本集中不同样本类别分布地越均匀，说明不确定性越大，比如投掷硬币，50%正，50%负，完全不确定，而决策树模型就是需要选取特征，通过特征取值对样本进行子集划分，使得子集中的不确定性减少。描述不确定性的算法模型：1 gini纯度 2 信息熵 两个函数都是在样本分布越均匀时取值越大。 而gini纯度使用幂，信息熵使用对数，gini对于计算机计算量更小特征选择的过程就是在
转载
2024-03-27 07:45:15
55阅读
决策树(Decision Tree）是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。在机器学习中，决策树是一个预测模型，他代表的是对象属性与对象值之间的一种映射关系。Entropy（熵） = 系统的凌乱程度
转载
2024-07-25 14:23:03
123阅读
1.前言「决策树」| Part2—Python实现之构建决策树中我们已经可以基于给定数据集训练出决策树模型，只不过是以字典方式表示决策树，决策树直观、易于理解的优点完全体现不出来。因此，这篇文章的目的就是将训练出的决策树模型以树状图形表示。给定数据集：字典形式决策树模型：{'人品': {'好': '见 ', '差': {'富有': {'没钱': '不见', '有钱': {'外貌': {'漂亮':
转载
2023-08-29 19:06:09
71阅读
就决策树来说，算法本身是(为数不多的)天然支持categorical feature的机器学习算法，但是如果是high cardinality，那么理论上最优的split要遍历所有二分组合，是指数级的复杂度，Python的implementation只解决数值型feature，把这个难题丢给用户了，xgboost也是一样，作者的解释是为了给用户更多自主权决定如何处理categorical feat
转载
2024-07-31 10:47:20
58阅读
1.基尼系数：最大为1，最小为0。越接近于0代表收入越平等，越接近于1代表收入越悬殊。那么在决策树分类中，Gini系数越小，数据集合大小越平等，代表集合数据越纯。我们可以在分类前计算一下Gini系数，分类后在计算一下Gini系数。找到分类后最小的基尼系数就代表分类条件最好。我们一定要找到某个分类条件可以使得分类后的基尼系数最小。可以尝试多个分类条件，哪个分类条件分类完成后基尼系数最小，哪个分类条件
转载
2024-04-07 15:43:22
317阅读
DecisionTreeRegressor 树模型参数:1.criterion gini(基尼系数) or entropy(信息熵) 2.splitter best or random 前者是在所有特征中找最好的切分点 后者是在部分特征中（数据量大的时候）3.max_features None（所有），log2，sqrt，N 特征小于50的时候一般使用所有的4.max_depth 数
转载
2024-06-21 18:21:21
52阅读
0x00 前言 决策树学习算法有三个步骤：特征选择决策树生成决策树剪枝特征选择，就是决策树的构造过程。为了找到最优的划分特征，我们需要先了解一些信息论的知识。信息熵(information entropy)条件熵(conditional entropy)信息增益(information gain)信息增益率(information gain ratio)基尼指数(Gini index)0x01 信
浅谈决策树算法思想概述以“树”为原型。决策过程的不断深入，就如树从根至叶，一步步递进。决策树算法组成1、特征选择 特征选择的目的是选取能够对训练集分类的特征。特征选择的关键是准则：信息增益、信息增益比、Gini指数 2、树的生成 通常是利用信息增益最大、信息增益比最大、Gini指数最小作为特征选择的准则。从根节点开始，递归的生成决策树。相当于是不断选取局部最优特征，或将训练集分割为基本能够正确分类
本章介绍的是决策树算法，决策树算法是一类非参的模型，在学习过程中没有显式的参数训练过程。一:如何生成决策树？ 1. 决策树的生成可以视作对样本空间反复划分成一个个区域的过程，这些区域互不相交，且并集为整个样本空间。用于分类时，每个区域返回一个类别判断或者类别判断的概率。算法采用递归这种计算机非常善于处理的操作进行。对递归来说最重要的便是设置递归的
转载
2024-09-28 21:24:04
35阅读
今天用python实现了一个决策树模型，python做机器学习有大量的库支持，简洁高效，没有深厚数学与算法基础的人也可以调用库来实现机器学习模型。当然大家想做好机器学习还是要好好积淀深厚的知识，只当调包侠能做的东西非常有限啊。 本文是对经典的鸢尾花数据集做分类，大家需要下载sklearn、pandas、m
转载
2023-06-08 20:17:23
116阅读
决策树学习的时候手抄了很多大佬们的笔记，这是从手抄本上重新整理的，有空搜一搜把参考过的大佬们的链接贴上来。1. 几种常见算法的简单对比算法类别算法特点对比损失函数随机森林（RF）bagging方法，基于样本对样本进行有放回采样，多次采样来训练不同树，最后投票得到结果adaboostboosting方法，基于样本提高被错分样本的权重，最后加权计分来得到结果，使用的决策树通常为单层决策树（一个决策点）
转载
2024-06-24 10:21:36
56阅读
# 如何实现“python样本量1000决策树”
作为一名经验丰富的开发者，我会向你介绍如何在Python中实现样本量为1000的决策树模型。首先，我们需要明确整个流程，然后逐步进行操作。
## 流程步骤
下面是实现该任务的整体流程步骤：
| 步骤 | 操作 |
| ---- | ---- |
| 1 | 准备数据集 |
| 2 | 数据预处理 |
| 3 | 划分训练集和测试集 |
|
原创
2024-02-25 07:50:00
54阅读
使用sklearn中自带的决策树方法简单代码 如下：from sklearn import tree
mode = tree.DecisionTreeClassifier(criterion='gini')
mode.fit(X,Y)
y_test = mode.predict(x_test) 其中对于函数 tree.DecisionTreeClassifier()中的
转载
2024-05-30 11:49:31
0阅读
如图，为使用到的公式，信息熵表明样本的混乱程度，增益表示熵减少了，即样本开始分类，增益率是为了平衡增益准则对可取值较多的属性的偏好，同时增益率带来了对可取值偏小的属性的偏好，实际中，先用增益进行筛选，选取大于增益平均值的，然后再选取其中增益率最高的。以下代码纯粹手写，未参考其他人代码，如果问题，请不吝赐教。1，计算信息熵的函数import numpy as np
# 计算信息熵
# data:li
转载
2024-04-07 08:57:55
0阅读
