随机森林算法：随机森林利用随机的方式将许多决策树组合成一个森林，每个决策树在分类的时候决定测试样本的最终类别在Bagging策略的基础上进行修改后的一种算法 从样本集中用Bootstrap采样选出n个样本； 从所有属性中随机选择K个属性，选择出最佳分割属性作为节点创建决策树； 重复以上两步m次，即建立m棵决策树； 这m个决策树形成随机森林，通过投票表决结果决定数据属于那一类RF算法在实际应用中具有
转载
2024-03-16 09:36:01
64阅读
"#测试gini\n",
"gini=calGini((l,r),classLabels)\n",
"print(gini)\n"
]
},
{
"cell_type": "code",
"execution_count": 19,
"metadata": {},
"outputs": [],
"source": [
"def getBestSplit(dataSet,featureNumbers
转载
2023-09-14 09:20:25
123阅读
回归分析回归分析属于监督学习方法的一种，主要用于预测连续型目标变量，可以预测、计算趋势以及确定变量之间的关系等。Regession Evaluation Metrics以下是一些最流行的回归评估指标:平均绝对误差(MAE):目标变量的预测值与实际值之间的平均绝对差值。均方误差(MSE):目标变量的预测值与实际值之间的平均平方差。 均方根误差(RMSE):均方根误差的平方根。Huber Loss:一
转载
2024-07-12 17:35:01
243阅读
我是谁？百变怪 随机森林之回归所有的参数，属性与接口，全部和随机森林分类器一致。不同的只是回归树与分类树的不同，不纯度的指标（mse），参数Criterion不一致。criterion：1）输入"mse"使用均方误差mean squared error(MSE)，父节点和叶子节点之间的均方误差的差额将被用来作为特征选择的标准，这种方法通过使用叶子节点的均值来最小化L2损失；2）输入“f
转载
2024-03-15 13:40:24
88阅读
参考资料：李航博士的统计学习方法 Tutorial Slides by Andrew Moore https://www.autonlab.org/_media/tutorials/dtree18.pdf https://www.autonlab.org/tutorials/infogain.htm
《机器学习》一书有两个星期没看，进度停滞在了第四章的结尾部分。 重读这一大部分内容，原著对基尼系数和CART决策树仅有短短半页的描述，通过从网络上的调查和文献的阅读对其有了更详细的理解。基尼系数（Gini index）从我看到过得内容中，我认为较为好理解的定义应该是：定义：基尼指数（基尼不纯度）：表示在样本集合中一个随机选中的样本被分错的概率。 如上面定义所说的，基尼系数反映的就是样本被分错的概率
转载
2024-07-07 20:05:43
292阅读
文章目录前言一、重要参数criterion二、重要属性和接口三、随机森林回归用法总结 前言所有的参数，属性与接口，全部和随机森林分类器一致。仅有的不同就是回归树与分类树的不同，不纯度的指标，参数Criterion不一致。一、重要参数criterion回归树衡量分支质量的指标，支持标准有三种：输入"mse"使用均方误差mean squared error(MSE)，父节点和叶子节点之间的均方误差的
转载
2024-03-15 09:49:35
354阅读
1：决策树1.1决策树可以分为两个阶段 1.2：熵和Gini系数： 【注】熵和Gini系数的特点（内部越混乱则熵或Gini系数值越大，否则越小）熵和Gini系数拟解决的问题：熵和Gini系数的引入是为了判断谁作为决策树的根节点？如何解决：通过信息增益（gain(某一属性/特征)=原始熵值-节点的熵值）的大小来判断熵的降低速度。1.3决策树的三种算法c4.
转载
2024-04-30 14:37:34
114阅读
关于回归器的相关介绍可以看前面回归决策树的文章，由于随机森林回归器是基于回归决策树的，所以基本的概念是相同的，比如衡量标准，其他的基本属性参数等等...... 这里主要是对随机森林回归器的一个简单运用，调用一个完整的boston房价数据集，人为的使数据集变为缺失数据集，分别采用均值法、补0法、随机森林回归填充法三种方式来对缺失数据进行填补，最后采用随机森林回归器分别对不同的填充数据进行预测，
转载
2024-07-25 14:29:34
52阅读
文章目录一、弱分类器的结构1. 分枝标准与特征重要性2. 调节树结构来控制过拟合二、弱分类器的数量三、弱分类器训练的数据1. 样本的随机抽样2. 特征的随机抽样3. 随机抽样的模式四、弱分类器的其他参数 在开始学习之前，先导入我们需要的库。import numpy as np
import pandas as pd
import sklearn
import matplotlib as mlp
转载
2024-02-29 10:21:35
99阅读
随机森林和提升作者：樱花猪 摘要：本文为七月算法（julyedu.com）12月机器学习第十一次次课在线笔记。随机森林和提升都是机器学习将弱分类器融合成强分类器的方法。和我们熟悉的另一种机器学习模型SVM相比，这种方法更适合于大数据并且它的计算速度要比SVM快许多。 引言Boosting这些比较受广大研究者的热爱，而曾经红得半边天的SVM不再那么主流。仔细一看，实际上随机森林我
转载
2024-05-07 09:18:29
87阅读
# Kappa系数及其在Python中的应用
## 引言
在数据科学和统计学中，Kappa系数是一种用于评估两个或多个观察者/分类者之间一致性的方法。特别是在分类问题中，Kappa系数为我们提供了一种对分类一致性的量化分析方法。本文将介绍Kappa系数的定义、计算方式，并通过Python代码来进行演示。
## Kappa系数简介
Kappa系数（κ）是一种度量观察者之间一致性的统计量。其值
灰狼算法（Grey Wolf Optimization，GWO）是一种基于自然界灰狼行为的启发式优化算法，在2014年被提出。该算法模仿了灰狼群体中不同等级的灰狼间的优势竞争和合作行为，通过不断搜索最优解来解决复杂的优化问题。 &nb
转载
2024-08-03 22:44:06
31阅读
本文介绍在Python环境中，实现随机森林（Random Forest，RF）回归与各自变量重要性分析与排序的过程。 其中，关于基于MATLAB实现同样过程的代码与实战，大家可以点击查看MATLAB实现随机森林（RF）回归与自变量影响程度分析这篇文章。 本文分为两部分，第一部分为代码的分段讲解，第二部分为完整代码。1 代码分段讲解1.1 模块与数据准备 首先，导入所需要的模块。在这里，需要
转载
2024-07-22 16:07:14
135阅读
.深度森林是南大周志华老师前两年提出的一种基于随机森林的深度学习模型。当前的深度学习模型大多基于深度学习神经网络（DNN），其中每一层都是可微的，在训练过程中通过反向传播调参。而本篇介绍的深度森林算法基于不可微的子模型，该算法把多个随机森林串联起来组成了深度学习模型。作者认为深度模型的优越性主要在于：深度网络多层建构；模型特征变换；模型足够复杂。文中提出基于树模型的gcForest也可满足以上三点
转载
2024-04-01 16:37:55
311阅读
目录1. GBDT算法的过程1.1 Boosting思想1.2 GBDT原理 需要多少颗树2. 梯度提升和梯度下降的区别和联系是什么？3. GBDT的优点和局限性有哪些？3.1 优点3.2 局限性4. RF(随机森林)与GBDT之间的区别与联系5. GBDT与XGBoost之间的区别与联系6. 代码实现 1. GBDT算法的过程GBDT(Gradient Boosti
一、 随机森林输出特征重要度 用随机森林进行特征重要性评估的思想其实很简单，通俗来讲就是看每个特征在随机森林中的每颗树上做了多大的贡献，取平均值，然后比较特征之间的贡献大小。 常见的计算方法有两种，一种是平均不纯度的减少（mean decrease impurity），常用gini /entropy /in
梯度提升迭代决策树GBDTGBDT也是Boosting算法的一种，但是和AdaBoost算法不同；区别如下： AdaBoost算法是利用前一轮的弱学习器的误差来更新样本权重值，然后一轮一轮的迭代；GBDT也是迭代，但是GBDT要求弱学习器必须是CART模型，而且GBDT在模型训练的时候，是要求模型预测的样本损失尽可能的小。 别名：GBT(Gradient Boosting Tree)、GTB(Gr
转载
2024-04-20 20:18:58
61阅读
注：本教程是本人尝试使用scikit-learn的一些经验，scikit-learn真的超级容易上手，简单实用。30分钟学会用调用基本的回归方法和集成方法应该是够了。 前言：本教程主要使用了numpy的最最基本的功能，用于生成数据，matplotlib用于绘图，scikit-learn用于调用机器学习方法。如果你不熟悉他们（我也不熟悉）,没关系，看看numpy和matplotlib最简单的教程
转载
2024-07-03 22:57:33
69阅读
今天写了一个随机森林分类代码，实测没毛病，大家可以放心用 决策树决策树通过把样本实例从根节点排列到某个叶子节点来对其讲行分类。树上的每个非叶子节点代表对一个属性取值的测试其分支就代表测试的每个结果;而树上的每个叶子节点均代表一个分类的类别，树的最高层节点是根节点简单地说，决策树就是一个类似流程图的树形结构，采用自顶向下的递归方式，从树的根节点开始，在它的内部节点上进行属性值的测试比较，然
转载
2024-08-14 16:46:22
358阅读
