通常来说，我们可以从两个方面来提高一个预测模型的准确性：完善特征工程（feature engineering）或是直接使用Boosting算法。通过大量数据科学竞赛的试炼，我们可以发现人们更钟爱于Boosting算法，这是因为和其他方法相比，它在产生类似的结果时往往更加节约时间。Boosting算法有很多种，比如梯度推进（Gradient Boosting）、XGBoost、AdaBoost、Ge
转载
2023-07-24 17:59:08
221阅读
# Ada Boosting 特征筛选在R语言中的实现
## 引言
作为一名经验丰富的开发者，你需要教导一位刚入行的小白如何在R语言中实现Ada Boosting特征筛选。Ada Boosting是一种集成学习方法，通过逐步调整训练数据的权重来提高弱分类器的性能，从而实现特征筛选。以下是整个流程的步骤及代码示例。
## 流程步骤表格
| 步骤 | 操作 |
| ---- | ---- |
|
原创
2024-02-28 06:15:17
160阅读
1. 目的：根据银行客户信息，判断其是否接受银行向他们提供的个人贷款。 2. 数据来源：https://www.kaggle.com/lowecoryr/universalbank 3. 数据介绍：数据中共包含5000个观测值，14个变量。其中，每一个观测值代表一个客户。bank.df <- read.csv("UniversalBank.csv") # 读取数据
str
转载
2023-09-08 14:40:07
303阅读
Boosting方法： Boosting这其实思想相当的简单，大概是，对一份数据，建立M个模型（比如分类），一般这种模型比较简单，称为弱分类器(weak learner)每次分类都将上一次分错的数据权重提高一点再进行分类，这样最终得到的分类器在测试数据与训练数据上都可以得到比较好的成绩。...
转载
2013-11-10 22:18:00
230阅读
2评论
一、GBDT的通俗理解提升方法采用的是加法模型和前向分步算法来解决分类和回归问题，而以决策树作为基函数的提升方法称为提升树（boosting tree）。GBDT(Gradient Boosting Decision Tree)就是提升树算法的一种，它使用的基学习器是CART（分类和回归树），且是CART中的回归树。GBDT是一种迭代的决策树算法，通过多轮迭代，每轮学习都在上一轮训练的残差（用损失
转载
2024-04-06 14:00:36
89阅读
boosting:加权组合多个分类器adaBoosting：隶属于boosting加权组合多个分类器训练单个分类器的时候通过提高预测错误的样本的权重来提高单个分类器的预测准确率
原创
2016-12-20 14:24:08
436阅读
提升方法（boosting）是一种常用的统计学习方法，应用广泛且有效。在分类问题中，它通过改变训练样本的权重，学习多个分类器，并将这些分类器进行线性组合，提高分类的性能。 本章首先介绍提升方法的思路和代表性的提升算法AdaBoost，然后通过训练误差分析探讨AdaBoost为什
注： 本文是R语言sf包的核心开发者和维护者——来自德国明斯特大学的地理信息学教授：
Edzer Pebesma 的一篇关于sf包的简介，发表于2018年7月的R语言期刊，主要讲述了sf的定位、功能、开发现状及现存问题和今后展望，sf包是一个非常了不起的工具，在R语言中引入了空间数量分析领域通用的标准规范（simple feature），结合tidyverse工具箱组合
转载
2023-06-30 18:38:28
419阅读
Boosting是串行式集成学习方法的代表，它使用加法模型和前向分步算法，将弱学习器提升为强学习器。Boosting系列算法里最著名的算法主要有AdaBoost和梯度提升系列算法(Gradient Boost，GB)，梯度提升系列算法里面应用最广泛的是梯度提升树(Gradient Boosting Decision Tree，GBDT)。一、Adaboost1、Adaboost介绍 Adab
转载
2024-01-06 07:36:20
80阅读
树模型本身具有蛮多优点的： 可解释性强 可处理混合类型的特征 不用归一化处理 由特征组合的作用 可自然的处理缺失值 对异常点鲁棒性较强 有特征选择的作用 可扩展性强，容易并行缺点是： 缺乏平滑性 不适合处理高维度稀疏的数据那么回归树中的可划分点包含了所有特征的所有可取的值。在分类树中最佳划分点的判别标准是熵或者基尼系数，都是用纯度来衡量的， 但是在回归树中的样本标签是连续数值，所以再使用熵之类的指
转载
2024-04-14 16:02:53
184阅读
1.单因素方差分析：适用于单因素A有两个水平或以上，研究个水平对因变量的影响正态假设条件：W检验shapiro.test():原假设为数据来自正态分布方差齐性条件：Bartlett检验（主要用于正态分布的数据） bartlett.test(x, g, ...)x是数据向量或列表（list）；g是因子向量，如果x是列表则忽略g。 当使用数据集时，也可以通过formula调用函数&
转载
2023-06-25 20:40:28
273阅读
本节我们来学习如何在各个平台上安装和配置R语言开发环境。Windows安装您可以从R-3.4.1 for Windows(32/64位)下载Windows的Windows安装程序版本，并将其保存在本地目录中。打开下载页面如下所示 -因为它是Windows安装程序(.exe)，下载的名称为“R-3.4.1-win.exe”。只需双击并运行接受默认设置的安装程序即可。 如果您的Windows是32位版
转载
2023-08-10 17:18:21
645阅读
openNLP是NLP中比较好的开源工具，R语言中有openNLP packages，但是呢，貌似对中文的支持并不好，笔者试了试，发现结果并不如意。但是也算认识了一番，就来介绍一下。一些内容转载于白宁超老师：OpenNLP：驾驭文本，分词那些事————————————————————————————————————————一、openNLP简介维基百科：Apache OpenNLP库是一
转载
2023-11-21 14:41:26
67阅读
本文主要介绍R语言中基本图形的绘制，包含以下几种图形：1.条形图 2.饼图 3.直方图 4.核密度图 5.箱线图 6.点图1.直方图的绘制 #直方图绘制
barplot(height)
#height是一个向量或者矩阵
a<-c(1,2,3,4,5,6)
#垂直直方图
barplot(a,main="Simple Bar Plot",xlab="
转载
2023-07-16 16:45:09
118阅读
在计量经济学中，经常要对时间序列数据进行回归建模。时间序列数据通常具有异方差（Heteroscedasticity）和自相关（Autocorrelation）的性质，此时使用传统的最小二乘法（OLS）估计回归参数虽然仍可得到参数的无偏估计，但是传统方法计算出来的参数方差具有偏差，会导致参数的t检验不准确，常出现虚假显著的情况。为避免这种情况，计量经济学中常对上述参数的方差进行调整，最常用的是N
转载
2023-09-14 13:09:06
448阅读
最近几年关于利用shiny做web框架的需求越来越多，出去交流也经常有爱好者咨询如何学习shiny包（个人觉得RStuido官网的shiny学习资料是最快上手的途径之一）。今天晚上刚好给学员直播完shiny包的基本知识，顺便也写一篇关于shiny的扫盲文章出来，希望能对想学习shiny包的朋友有一点点启发。Shiny是R中的一种Web开发框架，使得R的使用者不必太了解css、js只需要了解一些ht
转载
2023-08-31 20:35:25
84阅读
Lasso的身世Lasso的思想从线性回归到Lasso认识LassoLasso相关文献 Lasso的身世Lasso全称为The Least Absolute Shrinkage and Selection Operator，是Tibshrani受到Breiman的Non-Negative Garrote（NNG）的启发在1996年提出的一种压缩估计方法，他把NNG的两步合并为一步，即L1-nor
转载
2024-01-19 23:26:17
70阅读
R语言有两种不同的OOP机制，分别是从其前身S语言继承而来的S3 Object和S4 Object，其中S4 Object更加的正式、也是现在用于开发的主力军，所以本文就从S4 Object谈起，并在最后讨论一下古老的S3 Object。那我们就开始吧！首先我们来设计一个时间序列类，在它的内部，需要包含主数据、起始时间与截止时间、取样间隔这些数据。在R中我们可以定义如下：setClass("Ti
转载
2023-08-25 00:50:38
93阅读
