1.线性回归概述回归需求在现实中非常多，自然也有了各种回归算法。最著名的就是线性回归和逻辑回归，衍生出了岭回归、Lasso、弹性网，以及分类算法改进后的回归，如回归树、随机森林回归、支持向量回归等，一切基于特征预测连续型变量的需求都可以使用回归。sklearn中的线性回归 linear_model模块包含了多种多样的类和函数。具体如下：类/函数含义普通线性回归linear_model.Linear
转载
2024-05-21 22:04:48
42阅读
王境泽的机器学习技巧什么是集成学习(Voting Classifier)？同一数据，同时应用多种差异模型，将预测结果用某种方式投票选出最佳结果
例如：新出的电影好不好看？根据其他人评价自行判断日常工作应用中，监督学习算法的选择：如果为了模型的可解释性，如数据分析报告（准确率不重要），一般使用独立模型（线性回归和逻辑回归）如果为了模型的性能
中小型数据(表格)：集成学习大型/海量数据（图片，
转载
2024-08-07 10:34:28
54阅读
**本文转自**
</font>
<br><br>
<p>首先，在了解树模型之前，自然想到树模型和线性模型有什么区别呢？其中最重要的是，树形模型是一个一个特征进行处理，之前线性模型是所有特征给予权重相加得到一个新的值。决策树与逻辑回归的分类区别也在于此，逻辑回归是将所有特征变换为概率后，通过大于某一概率阈值的划分为一类，小于某一概率阈值的为另一类；而
转载
2024-04-26 17:32:05
87阅读
回归分析回归分析属于监督学习方法的一种，主要用于预测连续型目标变量，可以预测、计算趋势以及确定变量之间的关系等。Regession Evaluation Metrics以下是一些最流行的回归评估指标:平均绝对误差(MAE):目标变量的预测值与实际值之间的平均绝对差值。均方误差(MSE):目标变量的预测值与实际值之间的平均平方差。 均方根误差(RMSE):均方根误差的平方根。Huber Loss:一
转载
2024-07-12 17:35:01
243阅读
关于回归器的相关介绍可以看前面回归决策树的文章，由于随机森林回归器是基于回归决策树的，所以基本的概念是相同的，比如衡量标准，其他的基本属性参数等等...... 这里主要是对随机森林回归器的一个简单运用，调用一个完整的boston房价数据集，人为的使数据集变为缺失数据集，分别采用均值法、补0法、随机森林回归填充法三种方式来对缺失数据进行填补，最后采用随机森林回归器分别对不同的填充数据进行预测，
转载
2024-07-25 14:29:34
52阅读
目录随机森林回归算法的介绍随机森林回归算法的Python示例与解释总结随机森林回归算法的介绍随机森林是一种集成学习方法，用于解决分类和回归问题。它结合了多个决策树模型的预测结果，通过集体决策来提高整体性能和减少过拟合。随机森林适用于各种数据类型，并且在许多应用领域都表现出色。下面是随机森林回归模型算法的详细解释：1. 决策树（Decision Trees）： 随机森林的基本组成单元是决策树。决策树
转载
2024-06-03 20:04:27
150阅读
今天讲的内容是机器学习中的决策树算法。一、理论介绍随机森林的定义 随机森林指的是利用多棵树对样本进行训练并预测的一种分类器，是非常具有代表性的Bagging集成算法，它的所有基评估器都是决策树，分类树组成的森林就叫做随机森林分类器，回归树所集成的森林就叫做随机森林回归器。如何正确看待随机森林？顾名思义，森林——是由很多很多的树组成的。在随机森林算法中，会生成许多的树，而由于决策树本身自带有
转载
2023-12-17 20:31:11
85阅读
1 概述1.1 名为“回归”的分类器在过去的四周中，我们接触了不少带“回归”二字的算法，回归树，随机森林的回归，无一例外他们都是区别于分类 算法们，用来处理和预测连续型标签的算法。然而逻辑回归，是一种名为“回归”的线性分类器，其本质是由线性回 归变化而来的，一种广泛使用于分类问题中的广义回归算法。要理解逻辑回归从何而来，得要先理解线性回归。线 性回归是机器学习中简单的的回归算法，它写作一个几乎人人
转载
2024-05-14 22:07:05
740阅读
文章目录集成算法概述sklearn中的集成算法模块RandomForestClassifier重要参数&&随机森林的分类器控制基评估器的参数n_estimatorssklearn建模流程复习交叉验证我们进行10次交叉验证，观察随机森林和决策树的效果n_estimators学习曲线bootstrap & oob_score随机森林回归器随机森林回归填补缺失值案例机器学习中调
转载
2024-07-12 11:32:09
31阅读
1.背景介绍随机森林(Random Forest)和决策树(Decision Tree)都是一种常用的机器学习算法，它们在处理线性不可分问题方面有着不同的表现。在本文中，我们将深入探讨这两种算法的背景、核心概念、算法原理以及应用实例，并分析它们在线性不可分问题上的优缺点。随机森林是一种集成学习方法，通过构建多个决策树并将它们的预测结果通过平均法进行融合，从而提高模型的准确性和稳定性。决策树则是一种
文章目录一. 决策树1. 定义2. 决策树的生成3. 损失函数4. 决策树的纯度5. 决策树的分割方式—— 非线性6. 剪枝7. one-hot7. 单棵决策树缺点8. 代码实现决策树二. 随机森林1. 定义2. 随机森林运行机制3. 随机森林的中心思想 —— 并行思想4. 随机森林与逻辑回归5. 代码实现随机森林 一. 决策树1. 定义逻辑回归是一种线性用监督的离散型分类模型 决策树是一种非线
转载
2024-05-01 23:42:02
696阅读
上一章提到的线性回归应该是使用最广泛的一种方法，但是这个方法时常会出现一些问题：比如我们需要对线性回归模型的随机干扰项施加一些假设，但现实中这些假设常常不能满足，此外当数据拥有众多特征且特征之间关系比较复杂时，用线性回归难以构建一个全局模型，最重要的，现实中满足线性关系的特征只占一小部分，大部分情况下特征之间满足的是非线性关系。 这时一种可行的方法就是将数据集切分成多份容易建模的数据，在切分的子集
转载
2024-04-17 12:19:43
55阅读
目录集成算法 sklearn中的随机森林随机森林分类器随机性参数属性案例代码随机森林回归器案例代码在前面的内容中，已经对决策树解决分类回归问题分别做了阐述，今天走进随机森林的世界。什么是森林呢，对，好多树在一起我们就叫它森林，为什么是随机呢，因为这片森林可能不一样，这就涉及到参数的设定了（就像之前决策树的参数一样）。名字的意义明白了，那这最终的结果是怎么得出来的呢？其实很简单，我们知道一
转载
2024-03-22 17:54:07
49阅读
1. 随机森林1.1 决策树决策树分为两大类，分类树和回归树。分类树是我们比较熟悉的决策树，比如C4.5分类决策树。分类树用于分类标签值，如晴天/阴天、用户性别、网页是否是垃圾页面。而回归树用于预测实数值，如明天的温度、用户的年龄、网页的相关程度。也就是分类树的输出是定性的，而回归树的输出是定量的。分类树以C4.5算法为例，C4.5分类树在每次分枝时，是穷举每一个feature的每一个阈值，找到使
转载
2024-05-05 07:17:17
79阅读
本文介绍基于MATLAB，利用随机森林（RF）算法实现回归预测，以及自变量重要性排序的操作。目录1 分解代码1.1 最优叶子节点数与树数确定1.2 循环准备1.3 数据划分1.4 随机森林实现1.5 精度衡量1.6 变量重要程度排序1.7 保存模型2 完整代码 本文分为两部分，首先是对代码进行分段、详细讲解，方便大家理解；随后是完整代码，方便大家自行尝试。另外，关于基于MATLAB的神经网络（A
转载
2024-02-19 19:21:38
116阅读
随机森林回归是一种基于集成学习的机器学习算法，它通过组合多个决策树来进行回归任务。随机森林的基本思想是通过构建多个决策树，并将它们的预测结果进行平均或投票来提高模型的准确性和鲁棒性。以下是随机森林回归的主要特点和步骤：决策树的构建： 随机森林由多个决策树组成。每个决策树都是通过对原始数据进行有放回的随机抽样（bootstrap抽样）来训练的。此外，在每次分裂节点时，算法随机选择一个特征子集进行分裂
转载
2024-07-08 23:20:47
85阅读
Xgboost：优缺点：1）在寻找最佳分割点时，考虑传统的枚举每个特征的所有可能分割点的贪心法效率太低，xgboost实现了一种近似的算法。大致的思想是根据百分位法列举几个可能成为分割点的候选者，然后从候选者中根据上面求分割点的公式计算找出最佳的分割点。2）xgboost考虑了训练数据为稀疏值的情况，可以为缺失值或者指定的值指定分支的默认方向，这能大大提升算法的效率，paper提到50倍。3）特征
转载
2024-02-19 22:21:55
88阅读
以下是我的学习笔记，以及总结，如有错误之处请不吝赐教。基础概念：熵Entropy：是衡量纯度的一个标准,表达式可以写为：信息增益Information Gain：熵变化的一个量，表达式可以写为：信息增益率Gain Ratio：信息增益的变化率，表达式可以写为：基尼系数Gini Index：Gini（D）越小，数据集D的纯度越高，具体表达式如下：实际上基尼指数、熵、分类误差率三者之间数学关系是统一的
转载
2024-08-10 17:17:53
167阅读
文章目录前言一、随机森林回归器参数介绍二、数据实战1.数据介绍2.重点代码2.1特征集和标签集获取2.2数据集划分2.3随机森林模型训练2.4预测结果可视化2.5 特征重要性选择及可视化3.完整代码总结 前言我为什么写这篇博客？ 答：记录一下自己对于sklearn库的学习过程以及学习方法，方便以后进行复用这篇文章主要讲什么？ 这篇文章是我使用sklearn的随机森林对我这个你在研究的数据进行处理
转载
2023-10-24 10:49:29
164阅读
PS：介绍代码仅供介绍，源代码后期经过修改与介绍代码不一定完全相同索引表使用到的库数据加载和预处理划分训练集和测试集模型选择和训练模型评估模型优化结果展示尾声使用到的库import pandas as pd # 数据处理库
from gensim.models import Word2Vec # 自然语言处理模型库
import numpy as np # 科学计算库
import os #
转载
2024-06-10 06:32:08
19阅读
