目录 决策树简述决策树原理？为什么要对决策树进行减枝？如何进行减枝？简述决策树的生成策略PCA简述主成分分析PCA工作原理，以及PCA的优缺点？PCA中有第一主成分、第二主成分，它们分别是什么，又是如何确定的？逻辑回归逻辑回归是线性模型么，说下原因？逻辑回归算法为什么用的是sigmoid函数而不用阶
转载
2024-06-21 19:00:30
34阅读
注意：分类和回归的区别：分类问题的因变量是分类变量，回归中因变量是连续变量。 分类决策树中，用信息熵表示节点的混乱程度（不纯度）， 回归决策树中，改用均方差MSE来表示节点的混乱程度。在分类决策树中，叶子节点中的众数就是输出结果；回归决策树中，改用叶子节点的平均数作为结果。数据集：Boston房价数据集 Boston波士顿房价数据集的简介 该数据集包含美国人口普查局收集的美国马萨诸塞州波士顿住房价
决策树分箱Python
在数据处理与分析中，决策树被广泛应用于对特征的离散化处理，即分箱。本文记录了如何使用Python实现决策树分箱的过程，包括环境准备、分步指南、配置详解、验证测试、排错指南以及扩展应用。
## 环境准备
### 前置依赖安装
在开始之前，确保安装以下必要的Python库：
```bash
pip install pandas numpy scikit-learn m
目录python实现分步源代码（全部）测试集1（波士顿房价数据集）测试集2（糖尿病数据集）总结 python实现分步划分数据子集（左子树划分比指定值小的样本集合，右子树划分比指定值大的样本集合）import numpy as np
#获取数据子集，分类与回归的做法相同
#将数据集根据划分特征切分为两类
def split_dataset(data_x,data_y,fea_axis,fea_va
转载
2023-11-06 16:57:48
118阅读
决策树回归核心思想：相似的输入必会产生相似的输出。例如预测某人薪资：年龄：1-青年，2-中年，3-老年 学历：1-本科，2-硕士，3-博士 经历：1-出道，2-一般，3-老手，4-骨灰 性别：1-男性，2-女性年龄学历经历性别==>薪资1111==>6000(低)2131==>10000(中)3341==>50000(高)…………==>…1322==>?样本数
决策树树模型是机器学习领域最基础、逻辑最简单的一类机器学习算法，主要有决策树（解决分类问题），回归树（解决回归问题）。这里首先介绍决策树的原理和代表性的算法。原理决策树，顾名思义需要构建树的结构来进行决策（分类）；其实决策树的工作过程和人的思考过程是比较类似的，如下图所示：人类在决策过程中，会基于一系列的判别标准，来对某一事务做出最终的决定。决策树正是基于这一思想，在对数据进行分类的时候，判别标准
转载
2024-05-13 15:01:55
454阅读
决策树是机器学习中一种基本的分类和回归算法，是依托于策略抉择而建立起来的树。其主要优点是模型具有可读性，分类速度快，易于理解。决策树的思想主要来源于Quinlan在1986年提出的ID3算法和1993年提出的C4.5算法，以及有Breiman等人在1984年提出的CART算法。1.什么是决策树决策树简单来说就是带有判决规则（if-then）的一种树，可以依据树中的判决规则来预测未知样本的类别和值。
转载
2024-02-09 15:54:00
171阅读
分类回归树（\(classification\ and\ regression\ tree,\ CART\)）既可用于分类也可用于回归。\(CART\)分类树、\(CART\) 回归树统称 \(CART\)\(CART\) 学习分三步：特征选择、决策树的生成、剪枝。\(CART\) 决策树是二叉树。对 \(CART\) 回归树用均方误差最小化准则，\(CART\) 分类树用基尼系数最小化（\(Gi
转载
2023-08-10 12:20:32
209阅读
机器学习1. 决策树1.1 原理1.2 sklearn实现 1. 决策树1.1 原理决策树(Decision Trees)是一种用于分类或回归任务的无参数学习方法，其基于树形结构从数据特征中学习对应决策规则(特征选择)用于分类或预测目标值假设对于博客是否需要及时阅读建立决策树模型，如图：叶子节点为最终的分类或预测结果非叶子节点为对应的决策规则(特征/属性)决策树的学习包含三个步骤：①特征选择；②
转载
2024-05-05 07:05:10
77阅读
目录一、什么是回归树回归树的衡量指标什么是交叉验证二、交叉验证的简单使用1.导入相关的数据包 2.查看我们的数据3.实例化并使用交叉验证三、一维回归的图像绘制1.导入相关的库2.创建一条含有噪声的正弦曲线了解ravel降维的用法 3.创建回归模型4.导入测试集 5.预测测试集的数据6.用预测出来的数据绘制图像 一、什么是回归树DecisionTreeRegr
转载
2024-04-21 20:23:51
42阅读
【机器学习】决策树与集成决策树ID3C4.5CART（分类回归树）分类树回归树防止过拟合决策树集成梯度提升树AdaBoostGBDT(即基于一般损失的分类模型）GBRT（即基于一般损失的回归模型）XGBoost损失函数推导特点缺点模型参数LightGBM(light gradient boosting machine)RandomForest 决策树决策树包括分支节点，叶节点，分支。分治节点表示
介绍决策树分为分类决策树和回归决策树：上一篇介绍了分类决策树以及Python实现分类决策树： 监督学习——决策树理论与实践（上）：分类决策树 决策树是一种依托决策而建立起来的一种树。在机器学习中，决策树是一种预测模型，代表的是一种对象属性与对象值之间的一种映射关系，每一个节点代表某个对象/分类，树中的每
转载
2023-10-21 11:18:05
111阅读
前言本篇内容为第六章内容，决策树模型。 为便于阅读，我将文章内容分为以下几个板块：基础知识实验内容拓展研究心得体会其中，各板块的介绍如下：基础知识
包含关于本章主题的个人学习理解，总结的知识点以及值得记录的代码及运行结果。实验内容
这是本篇的主题实验部分，也是老师发的实验内容，在电脑上（jupyter notebook）运行成功之后导出为markdown格式。其中，主标题为每一章的小节
转载
2024-05-05 07:09:07
97阅读
一、决策树是什么？决策树是一种基于树状结构的机器学习算法，用于解决分类和回归问题。它是一种自上而下的递归分割方法，通过对特征空间的递归划分来构建一个树形模型，用于进行预测和决策。在决策树中，每个内部节点表示对某个特征的测试，每个分支代表该特征的一个取值，而每个叶节点表示一个类别标签或一个回归值。决策树的构建过程是通过对特征空间进行递归划分，使得每个叶节点包含尽可能纯的样本（分类问题）或使得每个叶节
转载
2024-06-13 23:09:42
47阅读
1、概念决策树是一种常见的机器学习方法，可以解决分类问题（二分类、多分类）、回归问题一般的，一棵树包含一个根节点，若干个内部节点、叶子节点，每一个叶子节点代表决策的结果，从根节点到每个叶子节点的路径对应了一条判定的策略。树的生成过程就是决策过程，这个过程是递归的，出现以下三种情况后递归会结束：1）当前节点的样本属于同一个类别2）当前节点样本集为空3）当前节点属性集为空或所有样本在属性上取值相同2、
转载
2024-04-26 11:08:24
51阅读
多变量决策树1 多变量决策树简介2 实现思路3 代码中的函数说明3.1 class TreeNode3.2 trainLinear3.3 binaryTrainSet3.4 score3.5 treeGenerate3.6 predict3.7 evaluate4 完整代码5 结果 1 多变量决策树简介 多变量决策树的每个非叶结点是对多个属性组合的判断。这里多个属性组合的方式可以是简单的线性组
转载
2024-03-19 22:44:29
44阅读
一.什么是决策树？ 已知输入变量和输出变量均为连续变量的预测问题被称为回归问题，输出变量为有限个离散变量的预测问题被称为分类问题。决策树是一种分类与回归的方法，因其结构呈树状而得名。决策树是一种描述对实例进行分类的结构。 决策树的实施包括以下几个步骤：特征选择、决策树
转载
2024-05-29 08:02:04
28阅读
目录前言一、基本概念1. 决策树回归的原理2. 构建决策树回归模型的步骤3. 决策树回归的优缺点4. 决策树回归的应用场景二、实例前言决策树回归（Decision Tree Regression）是一种常用的机器学习算法，用于预测连续型变量的取值。它基于树结构来对数据进行建模和预测，通过将数据集划分为不同的区域，并在每个区域内预测一个常数值来实现回归任务。在本文中，我将详细介绍决策树回归的原理、构
转载
2024-06-12 08:54:39
0阅读
决策树的核心算法ID3：特征选择方法：信息增益。C4.5：特征选择方法：信息增益比。CART：对于分类树，特征选择方法是基尼指数；对于回归树使用平方误差最小化准则。决策树学习过程特征选择决策树生成: 递归结构，选择最优特征，对训练数据进行分割, 对应于模型的局部最优决策树剪枝: 缩小树结构规模, 缓解过拟合, 对应于模型的全局选择决策树的类别1.分类树 (Classification Tree)原
转载
2024-02-23 21:38:20
43阅读
决策回归树代码实现import numpy as np
import pandas as pd
from sklearn.datasets import load_boston
from sklearn import tree
from sklearn import model_selection
import matplotlib.pyplot as plt
#封装出具有良好接口的模型
cla
转载
2024-04-01 06:40:55
47阅读
