一、数据，并要先one-hot多分类标签from sklearn.preprocessing import label_binarize
y_test = label_binarize(y_test, classes=[0, 1, 2, 3, 4])
n_classes = y_test.shape[1] # 几分类（我这里是5分类）二、构建模型，注意OVR类的使用（OneVsRestClas
转载
2023-07-31 10:27:47
478阅读
源代码在github（https://github.com/fansking/Machine/blob/master/Machine/trees.py） 里 某一事物有多种属性，但是很多属性并不决定它是否为这一事物的。比如说有的猫是有毛的，有的猫是无毛的，所有没有毛并不能决定是不是猫。那么对于如此之多的属性，我们如何从这里挑选出一个或多个属性来作为决定性因素呢。这里就要介绍信息增益和熵的概念了。
转载
2024-07-10 05:38:05
23阅读
在机器学习领域，决策树是一种重要的分类和回归算法，其主要优点在于可解释性强和处理缺失值的能力。然而，当涉及到模型性能评估时，我们通常会借用ROC（Receiver Operating Characteristic）曲线来理解模型在各个阈值下的表现。本篇博文将记录下在使用 Python 实现决策树并评估其 ROC 性能的过程，旨在以轻松的语气分享可能遇到的挑战和解决方案。
### 背景定位
在数据
## 决策树 ROC 曲线与 Python
### 1. 决策树简介
决策树是一种常用的机器学习算法，它通过构建一个树状的模型来进行决策。决策树的每个节点代表一个特征，根据这个特征将数据集划分为不同的子集。通过递归地划分数据集，并根据特征进行决策，最终生成一个树状的模型。
决策树的优点是易于理解和解释，可以处理离散型和连续型特征，可以处理多分类问题，还能够处理缺失值。然而，决策树容易产生过拟
原创
2023-08-28 06:47:30
442阅读
决策树的使用决策树是一种基于数据训练的机器学习方法，根据训练数据和训练特征集，找到特征集与数据类别的关联，生成if-else型的判断条件树。决策树具有训练简单、结果易于解读的优点，是一种非常常见的机器学习训练方法。以下应该用python中的机器学习库scikit-learn使用决策树的基本方法。决策树基本用法决策树创建from sklearn.tree import DecisionTreeCla
决策树调参记录一下决策树调参，在所有模型进行调参前，都应该熟悉算法的思路流程，这样才能进行更好的调参。 决策树分为回归树和分类树，回归树与分类树在Python的sklearn中分别对应着两个不同的函数，其中回归树为：DecisionTreeRegressor 分类树为：DecisionTreeClassifier。 虽然说函数名字不同，但是这两个函数的参数其实大差不大。参数名含义criterion
转载
2023-08-03 13:18:16
59阅读
文章目录1. 决策树概述2. 理论分析2.1 特征选择2.1 1 熵&条件熵2.1.2 信息增益2.1.3 信息增益比2.2 决策树的生成2.2.1 ID3算法2.2.2 C4.5算法2.2.3 决策树的修剪3. python实现3.1 数据集3.2 python代码3.3 运行结果 1. 决策树概述决策树（decision tree）是一种基本的分类与回归方法，在分类问题中，表示基于特
转载
2023-09-05 10:01:02
130阅读
决策树算法
决策树的创建
创建决策树的问题可以用递归的形式表示：
1、首先选择一个属性放置在根节点，为每一个可能的属性值产生一个分支：将样本拆分为多个子集，一个子集对应一种属性值；
2、在每一个分支上递归地重复这个过程，选出真正达到这个分支的实例；
3、如果在一个节点上的所有实例拥有相同的类别，停止该部分树的扩展。
问题：对于给定样
转载
2024-04-26 19:27:55
55阅读
本文通过示例介绍R实现CART(classification and regression tree)过程。当一组预测变量与响应变量的关系为线性时，我们使用多重线性回归可以生成准确的预测模型。但当它们的关系为更复杂的非线性关系时，则需采用非线性模型。分类回归CART(classification and regression tree)方法使用一组预测变量构建决策树，用来预测响应变量。响应变量是连
转载
2023-06-25 13:59:25
338阅读
本方法来自论文：Learning Decision Trees Using the Area Under the ROC Curve以下仅作为个人的一些理解，如有谬误，忘不吝赐教。 该方法可普遍用于两个classes，多个leaves的决策树。 论文第二部分主要告诉我们如何寻找最优决策树的labellings，并且通过这个最优的labellings可以直接画出简化后的决策树的ROC，而不用寻找所有
转载
2023-11-14 22:34:07
301阅读
本教程已纳入面向开发者的机器学习这一学习路径。简介在本教程中，我们将介绍解决基于回归的机器学习问题的基础知识，并对当前最流行的一些算法进行比较研究。设置注册或登录。从 Try IBM Watson 页面登录到您的 IBM Cloud 帐户来激活 Watson Studio。创建一个空白项目。单击 Create a project 或 New project。选择 Create an empty p
转载
2024-08-12 16:27:52
38阅读
决策树决策树一一种基本的分类与回归的算法。呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程，可以认为是：if-then 规则的集合，也可以认为是定义在特征空间与类上的条件概率分布。主要的优点是:模型具有可读性，分类速度快，学习数据时，根据损失函数最小化的原则建立决策树模型，预测时，对性的数据利用建立的决策树模型进行分类。 决策树学习通常包括3个步骤：特征的选择、决策树生成，决策树的修剪决
转载
2024-09-10 08:43:59
21阅读
Matplotlib优势：Matlab的语法、python语言、latex的画图质量（还可以使用内嵌的latex引擎绘制的数学公式） 本节课接着上一节课，来可视化决策树，用Matplotlib注解绘制树形图1 Matplotlib 注解Matplotlib提供了一个注解工具：annotations，可以在数据图形上添加文本工具。 Matplotlib实际上是一套面向对象的绘图库，它所绘制的图表
转载
2023-08-15 15:31:24
247阅读
决策树 算法优缺点： 优点：计算复杂度不高，输出结果易于理解，对中间值缺失不敏感，可以处理不相关的特征数据 缺点：可能会产生过度匹配的问题 适用数据类型：数值型和标称型 算法思想： 1.决策树构造的整体思想： 决策树说白了就好像是if-else结构一样，它的结果就是你要生成这个一个可以从根开始不断判断选择到叶子节点的树，但是呢这里的if-else必然不会是让我们认为去设置的，我们要做的是提供一种方
转载
2023-06-28 15:18:00
231阅读
决策树决策树在周志华的西瓜书里面已经介绍的很详细了(西瓜书P73-P79)，那也是我看过讲的最清楚的决策树讲解了，我这里就不献丑了，这篇文章主要是分享决策树的代码。在西瓜书中介绍了三种决策树，分别为ID3,C4.5和CART三种决策树，三种树出了分裂的计算方法不一样之外，其余的都一样，大家可以多看看书，如果有什么不清楚的可以看看我的代码，决策树的代码算是很简单的了，我有朋友面试的时候就被要求写决策
转载
2023-08-09 14:44:43
271阅读
决策树(Decision Tree)是一种非参数的有监督学习方法，它能够从一系列有特征和标签的数据中总结出决策规则，并用树状图的结构来呈现这些规则，以解决分类和回归问题。决策树尤其在以数模型为核心的各种集成算法中表现突出。开放平台：Jupyter lab根据菜菜的sklearn课堂实效生成一棵决策树。三行代码解决问题。from sklearn import tree #导入需要的模块
clf =
转载
2023-07-25 14:16:12
178阅读
1. 决策树决策树就像程序的if-else结构，是用于分割数据的一种分类方法。from sklearn.tree import DecisionTreeClassifier对于复杂的预测问题，通过建立树模型产生分支节点，被划分成两个二叉树或多个多叉树较为简单的子集，从结构上划分为不同的子问题。将依规则分割数据集的过程不断递归下去。随着树的深度不断增加，分支节点的子集越来越小，所需要提的问题数也逐渐
转载
2023-08-10 12:20:53
102阅读
Python实现一
在这里我们先调用sklearn算法包中的接口，看一下算法的效果。
实验数据（可能你并不陌生~~~）：
1.5 50 thin
1.5 60 fat
1.6 40 thin
1.6 60 fat
1.7 60 thin
1.7 80 fat
1.8 60 thin
1.8 90 fat
1.9 70 thin
1.9 80 fa
转载
2024-03-19 00:08:59
26阅读
目录1.什么是决策树？2.如何构建决策树？2.1分类问题中的决策树2.2决策树的剪枝3.用Python实现决策树算法3.1 导入sklean中的tree模块编辑3.2 使用sklean的基本流程3.3 剪枝操作3.4 绘制决策树1.什么是决策树？决策树（Decision Tree）是一种基本的分类与回归方法，本文主要讨论分类决策树。决策树模型呈树形结构，在分类问题中，表示基于特征对数据进行分类的过
转载
2024-06-07 13:23:27
48阅读
决策树是种可视化的模型，可做分类也可做回归。概念内容详看前章，本文讲如何python 实现。回顾一下比如我知道一组人的信息：年龄、是否有工作、是否有房贷…这叫特征值，现在再来一些人，这时我想能否贷款给他。我该怎么做呢，就可以用决策树模型实现。左边是数据，右边是树。当然这棵树没有把全部的特征向量放进去只是示意了一下。 &nb
转载
2023-06-29 15:13:26
344阅读
