决策树决策树生成包含三个步骤: 特征选择 ——> 决策树生成——> 决策树修剪:特征选择：理解: 根据某些规则选取使决策树性能最好的特征 1.1 信息熵 1.2 信息增益（缺点：偏向于选取值较多的特征） 1.3 信息增益比（基于信息增益的改进，克服了了上述信息增益的缺点）决策树生成： 2.1 ID3:在各个节点应用信息增益准测选择特征，递归构建决
转载
2024-07-25 14:52:21
48阅读
一、原理1.什么是决策树 （1）由一个根节点，若干内部节点和若干叶节点构成； （2）可以解决分类和回归问题； （3）非参数学习算法。 2.决策树的目标 通过一种衡量标准，来计算通过不同特征进行分支选择后的分类情况，找出来最好的那个特征当成根节点，以此类推。3.两大问题 （1）每个节点在哪个维度上做划分？ （2）某个维度在哪个
转载
2024-03-29 22:15:36
265阅读
写在前面：这是我的第三篇文章，上一篇简单介绍了决策树的节点选择算法，但是区分的越细越耗费空间（内存）和时间（运算时间），而且容易过拟合，为了解决这些问题，这篇文章介绍一下决策树的剪枝，就好比新长出的树需要剪枝打理一样，能让树与树之间更好的利用场地和发展~
上一篇文章——节点的选择：
略略略：学个明白：决策树与随机森林（1）——节点的选择 一，决策树剪枝的类型引子：好比我
随着决策树深度的增大，模型效果会变化，但增大太多就会导致过拟合的情况，对于过拟合，常见的有两咱优化方式：1 . 剪枝优化 决策树过度拟合一般情况是由于节点太多导致的（也就是树太深，这样可不可以把某些节点给合并一下，合并之后，节点数目不就降下去了吗，降下去之后模型就应该不会存在太过拟合的问题），剪枝优化对决策树的正确率影响是比较大的，也是最常用的一种优化方式。2 . Random Forest（随机
转载
2024-06-12 09:08:58
134阅读
1 信息熵1.1 信息熵 事件越不确定熵越大，越确定熵越小，如果熵为0，表示这件事情一定发生，就好比你说了一句废话1.2 条件熵H(Y|X) = H(X,Y) - H(X)，在X发生的前提下，Y发生新带来的熵1.3 相对熵、互信息 我们的目标函数可以是极大似然估计求最大值，也可以是交叉熵求最小值2 决策树学习算法 建决策树就是建立一个熵不断降低的树2.1 三种决策树学习算法2.2 决策树的过拟合2
接触剪枝是最近一段时间的事情，为了全面的系统的学习一下剪枝，笔者做了个论文综述。从2016年的韩松的deep compression 到最新的彩票假设，我主要是将剪枝可以分为三个大类。分别是不需要数据参与的硬剪枝，带数据参与训练的软剪枝，以及直接搜索结构的NAS。 一：硬剪枝这类的剪枝算法通常从模型本身的参数出发，寻找或者设计出合适的统计量来表明连接的重要性。通过对重要性的排序等算法，删
转载
2024-08-06 10:35:19
111阅读
其实随机森林就是由许多的决策树组成。每一颗决策树可能误差较大，但是综合在一起最后通过选举的方式产生的结果将非常准确。 随机森林不需要像决策树一样剪枝，理由很简单。剪枝是为了防止我们的算法over-fitting。在有n的样本，m个属性（特征）的数据中，我们有放回随机选择n个样本（可能重复），随机选择k个属性（k小于m,一般情况下我们取k =sqrt(m-1)），我们也通过限制最大树深度，分类结果中
转载
2024-03-05 14:02:03
236阅读
随机森林算法实例
根据成年人数据集来预测一个人的收入1.准备数据集我下载好了一个成年人数据集,从百度云下载链接：https://pan.baidu.com/s/10gC8U0tyh1ERxLhtY8i0bQ
提取码：4zzy准备好了数据集,那就把这个数据集与你的jupyter notebook放在同一目录.或者你也可以在D盘创建一个目录并在这个目录启动
转载
2024-04-18 09:40:14
67阅读
随机森林顾名思义，是用随机的方式建立一个森林，森林里面有很多的决策树组成，随机森林的每一棵决策树之间是没有关联的随机森林的优点能够处理很高维度的数据，并且不用做特征选择在训练完后，它能够给出哪些feature比较重要在创建随机森林的时候，对generlization error使用的是无偏估计训练速度快在训练过程中，能够检测到feature间的互相影响容易做成并行化方法实现比较简单随机森林的缺点随
转载
2024-04-29 11:47:46
56阅读
上两篇说了决策树到集成学习的大概，这节我们通过adaboost来具体了解一下集成学习的简单做法。集成学习有bagging和boosting两种不同的思路，bagging的代表是随机森林，boosting比较基础的adaboost，高级一点有GBDT，在这里我也说下我理解的这两个做法的核心区别：随机森林的bagging是采用有放回抽样得到n个训练集，每个训练集都会有重复的样本，每个训练集数据都一样，
昨晚，小伙伴收到了大鱼海棠为我们带来的FigureYa182RFSurv，使用随机森林对生存数据降维，根据变量重要性排序并筛选基因组成prognostic signature。这是我们第二次众筹随机森林相关分析，上次的FigureYa159LR_RF，是在LASSO降维的基础上，采用logistic regression或Random forest的方法，进行5-fold cross-valida
转载
2024-05-11 18:43:38
80阅读
随机森林”是数据科学最受喜爱的预测算法之一。 20世纪90年代主要由统计学家Leo Breiman开发，随机森林因其简单而受到珍视。 虽然对于给定问题并不总是最准确的预测方法，但它在机器学习中占有特殊的地位，因为即使是那些刚接触数据科学的人也可以实现并理解这种强大的算法。 随机森林树我们之前学习过分类树，随机森林就是种了很多分类树。对输入向量进行分类。每一颗树都是分类，要对这个输入向量进
转载
2024-03-21 22:17:38
99阅读
简单来说，随机森林就是Bagging+决策树的组合（此处一般使用CART树）。即由很多独立的决策树组成的一个森林，因为每棵树之间相互独立，故而在最终模型组合时，每棵树的权重相等，即通过投票的方式决定最终的分类结果。随机森林算法主要过程：1、样本集的选择。 假设原始样本集总共有N个样例，则每轮从原始样本集中通过Bootstraping（有放回抽样）的方式抽取N个样例，得到一个大小为N的训练集。在原
转载
2023-12-12 16:24:38
142阅读
基础知识[关于决策树的基础知识参考：]在机器学习中，随机森林由许多的决策树组成，因为这些决策树的形成采用了随机的方法，所以叫做随机森林。随机森林中的决策树之间是没有关联的，当测试数据进入随机森林时，其实就是让每一颗决策树进行分类看看这个样本应该属于哪一类，最后取所有决策树中分类结果最多的那类为最终的结果（每棵树的权重要考虑进来）。所有的树训练都是使用同样的参数，但是训练集是不同的，分类器的错误估计
转载
2024-05-13 10:22:23
38阅读
什么是随机森林算法?随机森林算法有哪些优缺点?随机森林是一种有监督学习算法，是以决策树为基学习器的集成学习算法，随机森林非常简单，易于实现，计算开销也很小，但是它在分类和回归上表现出非常惊人的性能，因此，随机森林被誉为“代表集成学习技术水平的方法”。下面我们就来谈谈为什么要使用随机森林算法，以及有哪些优点和缺点。为什么使用随机森林?1、随机森林既可以用于分类问题，也可以用于回归问题2、过拟合是个关
转载
2023-08-17 15:43:41
182阅读
庸人自扰——随机森林(Random Forest)预测最高气温(一)随机森林最高气温预测，我分为三部分：建模预测特征分析调参分析此处主要对第一部分进行展开导入相关包，并对数据进行读取，查看数据栏# 数据读取
import pandas as pd
features = pd.read_csv('./datalab/62821/temps.csv')
features.head(5)year,mo
转载
2024-06-19 07:23:08
344阅读
1.线性回归概述回归需求在现实中非常多，自然也有了各种回归算法。最著名的就是线性回归和逻辑回归，衍生出了岭回归、Lasso、弹性网，以及分类算法改进后的回归，如回归树、随机森林回归、支持向量回归等，一切基于特征预测连续型变量的需求都可以使用回归。sklearn中的线性回归 linear_model模块包含了多种多样的类和函数。具体如下：类/函数含义普通线性回归linear_model.Linear
转载
2024-05-21 22:04:48
42阅读
随机变量的仿真 ‘均匀分布’的随机数 打开本章的数据文件‘sim.sav’ 1.设置随机数种子 选择(转换)→(随机数字生成器),“设置起点’,并在‘固定值’下的‘值’中输入一个用户给定的数
转载
2024-09-19 20:09:14
90阅读
一、决策树（类型、节点特征选择的算法原理、优缺点、随机森林算法产生的背景）1、分类树和回归树 由目标变量是离散的还是连续的来决定的；目标变量是离散的，选择分类树；反之（目标变量是连续的，但自变量可以是分类的或数值的），选择回归树； 树的类型不同，节点分裂的算法和预测的算法也不一样； 分类树会使用基于信息熵或者gini指数的算法来划分节点，然后用每个节点的类别情况投票决定预测样本的分类；回归树
转载
2024-05-05 14:01:42
63阅读
数据挖掘（四）：模型评估 # 导入包
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.model_selection import train_test_split
from sklearn.svm import SVC
from sklearn.linear_model import LogisticRegres
