上次在分享一篇文献中（Single-Cell RNA-Seq Reveals AML Hierarchies Relevant to Disease Progression and Immunity），用到一个机器学习算法----随机森林算法，我们稍微回顾一下文献中的用法： 1、对单细胞数据进行聚类（文献中采用的是KNN聚类，Seurat的聚类方法一般是用SNN，感兴趣的大家可以对聚类方法多研究一
转载
2024-05-31 22:40:37
52阅读
通过组合多个过拟合评估器来降低过拟合程度的想法其实是一种集成学习方法，称为装袋算法。装袋算法使用并行评估器对数据进行有放回抽取集成(也可以说是大杂烩)，每个评估器都对数据过拟合，通过求均值可以获得更好的分类结果。随机决策树的集成算法就是随机森林。 我们可以用 Scikit-Learn 的 BaggingClassifie
转载
2023-09-26 10:44:36
79阅读
算法改进相比于上一章节分享的代价敏感随机森林而言，这次引入了特征选择和序贯分析。 参考文献的特征选择算法只是单纯的计算出一个特征代价向量使随机过程更具有倾向性，但并未考虑特征间的相对关系，并且在特征区分度不大时退化成普通的RF算法。 鉴于此，提出了三点改进： 1）在生成特征向量阶段引入序贯分析 2）在Gini系数上做了调整 3）在决策树集成阶段引入了代价敏感，选择代价少的前90%的决策树（经实验计
转载
2024-03-27 12:52:19
17阅读
1. 随机森林算法1.1. 集成模型简介集成学习模型使用一系列弱学习器（也称为基础模型或基模型）进行学习，并将各个弱学习器的结果进行整合，从而获得比单个学习器更好的学习效果。集成学习模型的常见算法有聚合法算法（Bagging）、提升算法（Boosting）和堆叠法（Stacking）Bagging算法的典型机器学习模型为随机森林模型，而Boosting算法的典型机器学习模型则为AdaBoost、G
转载
2024-02-27 10:03:22
148阅读
昨晚，小伙伴收到了大鱼海棠为我们带来的FigureYa182RFSurv，使用随机森林对生存数据降维，根据变量重要性排序并筛选基因组成prognostic signature。这是我们第二次众筹随机森林相关分析，上次的FigureYa159LR_RF，是在LASSO降维的基础上，采用logistic regression或Random forest的方法，进行5-fold cross-valida
转载
2024-05-11 18:43:38
80阅读
目录1.集成算法2.随机森林概述3.随机森林的系列参数3.1n_estimators3.2random_state3.3bootstrap & oob_score 4.重要属性1..estimators_ 2.oob_score_ 5.重要接口 1.apply2.predict 3.fit 4.score6
转载
2024-02-28 17:20:12
409阅读
之前简单介绍了决策树，这篇文章简单介绍一下随机森林以及优缺点。集成学习通过构建并结合多个分类器来完成学习任务。将多个学习器进行结合，常比获得单一学习器更好的泛化性能。 目前集成学习方法大致可分为两类，即个体学习器之间存在强依赖关系，必须串行生成的序列化方法，以及个体学习器之间不存在依赖关系，可同时生成的并行化方法；前者代表时Boosting， 后者代表是Bagging和随机森林(random fo
转载
2024-03-19 11:44:48
110阅读
昨天我使用Spark MLlib的朴素贝叶斯进行手写数字识别，准确率在0.83左右，今天使用了RandomForest来训练模型，并进行了参数调优。首先来说说RandomForest 训练分类器时使用到的一些参数：numTrees：随机森林中树的数目。增大这个数值可以减小预测的方差，提高预测试验的准确性，训练时间会线性地随之增长。maxDepth：随机森林中每棵树的深度。增加这个值可以是模型更具表
转载
2024-04-19 14:40:50
200阅读
一、集成学习在机器学习的有监督学习算法中，我们的目标是学习出一个稳定的且在各个方面表现都较好的模型，但实际情况往往不这么理想，有时我们只能得到多个有偏好的模型（弱监督模型，在某些方面表现的比较好）。集成学习就是组合这里的多个弱监督模型以期得到一个更好更全面的强监督模型，集成学习潜在的思想是即便某一个弱分类器得到了错误的预测，其他的弱分类器也可以将错误纠正回来。集成方法是将几种机器学习技术组合成一个
转载
2024-08-16 16:44:10
75阅读
集成学习如果你向几千个人问一个复杂的问题，然后汇总他们的回答。一般情况下，汇总出来的回答比专家的回答要好。同样，如果你聚合一组预测器(比如分类器、回归器)的预测，的大的结果也比最好的单个预测器要好。这样的一组预测器称为集成，对于这种技术被称为集成学习，一个集成学习的算法被称为集成方法。常见的集成方法有如下集中，bagging，boosting，stacking。投票分类器假设你已经训练好一些分类器
转载
2024-07-08 22:13:07
164阅读
目录集成学习决策树BoostingAdaboostGBDT梯度提升决策树是属于boosting集成学习的一种方法，通过构建多颗CART回归树，每一轮利用上一轮学习器的残差进行树的创建。该残差使用LossFunction的负梯度进行拟合。XGBoost对GBDT的提升LGB对XGB的提升Bagging随机森林简介随机森林构建python中使用随机森林为什么选决策树作为基分类器 偏差和方差总
转载
2024-05-27 23:08:00
65阅读
前文对随机森林的概念、工作原理、使用方法做了简单介绍，并提供了分类和回归的实例。
本期我们重点讲一下：
1、集成学习、Bagging和随机森林概念及相互关系
2、随机森林参数解释及设置建议
3、随机森林模型调参实战
4、随机森林模型优缺点总结集成学习、Bagging和随机森林集成学习集成学习并不是一个单独的机器学习算法，它通过将多个基学习器（弱学习器）进行结合，最终获得一个强学习器。这里的弱学习器
转载
2024-05-19 17:32:35
330阅读
一：sklearn中决策树的参数： 1，criterion: ”gini” or “entropy”(default=”gini”)是计算属性的gini(基尼不纯度)还是entropy(信息增益)，来选择最合适的节点。2，splitter: ”best” or “random”(default=”best”)随机选择属性还是选择不纯度最大的属性，建议用默认。3，max_features: 选择最
转载
2024-02-22 13:27:17
286阅读
1、决策树可参考1参考2 回归决策树DecisionTreeRegressor(criterion="mse",
splitter="best",
max_depth=None,
min_samples_split=2,
转载
2024-10-21 12:54:56
37阅读
随机森林不需要交叉验证！ 随机森林属于bagging集成算法，采用Bootstrap，理论和实践可以发现Bootstrap每次约有1/3的样本不会出现在Bootstrap所采集的样本集合中。故没有参加决策树的建立，这些数据称为袋外数据oob，歪点子来了，这些袋外数据可以用于取代测试集误差估计方法，可用于模型的验证。 袋外数据(oob)误差的计算方法如下： 对于已经生成
转载
2023-08-01 16:20:55
205阅读
ML-Day02: k-近邻、朴素贝叶斯、决策树、随机森林、交叉验证、网格搜索
1.数据分类
离散型数据：可以列举出
连续型数据：在区间内可任意划分，不可一一列举
2.机器学习算法分类
监督学习（预测）：有特征值和目标值，有标准答案
分类[离散]：k近邻、贝叶斯、决策树与随机森林、逻辑回归、神经网络
回归[连续]：线性回归、岭回归
转载
2024-07-08 10:19:34
39阅读
主要内容：1、十折交叉验证2、混淆矩阵3、K近邻4、python实现 一、十折交叉验证前面提到了数据集分为训练集和测试集，训练集用来训练模型，而测试集用来测试模型的好坏，那么单一的测试是否就能很好的衡量一个模型的性能呢？答案自然是否定的，单一的测试集具有偶然性和随机性。因此本文介绍一种衡量模型（比如分类器）性能的方法——十折交叉验证(10-fold cross validation)什么
转载
2024-05-07 19:30:37
106阅读
前言 随机森林非常像《机器学习实践》里面提到过的那个AdaBoost算法，但区别在于它没有迭代，还有就是森林里的树长度不限制。 因为它是没有迭代过程的，不像AdaBoost那样需要迭代，不断更新每个样本以及子分类器的权重。因此模型相对简单点，不容易出现过拟合。 &nbs
转载
2024-06-19 11:10:14
28阅读
基本流程：1.设置环境2.导入库和模块3.加载数据4.将数据拆分为训练和测试集5.声明数据预处理步骤6.声明超参数以进行调整7.使用交叉验证管道调整模型8.改装整个训练集9.评估测试数据的模型管道10.保存模型以供进一步使用1.设置环境python3.6 ,numpy,pandas,scikit-learn2.导入包import numpy as np
import pandas as pd
Bagging与随机森林要得到泛化性能强的集成，集成中的个体学习器应尽可能相互独立，虽然这在现实任务中很难做到，但我们可以设法使基学习器尽可能具有较大的差异。通过自助法（bootstrap）重采样技术：给定包含m个样本的数据集，我们先随机取出一个样本放入采样集中，再把该样本放回初始数据集，使得下次采样时该样本仍有可能被选中，这样，经过m次随机操作，我们得到含m个样本的采样集，初始训练集中有的样本在
转载
2024-04-11 13:42:58
45阅读
