瞎扯本人双非水硕，研究生期间参加五次数学建模比赛，一次校级（作者学校），两次省级（河北省研究生数学建模竞赛第二届，第三届），两次国家级（“华为杯”中国研究生数学建模竞赛第十六届和第十七届）；校级三等，省级一次一等，一次三等；国家级两次三等。作为之前没有任何数学建模经验的小菜鸡，已经感觉很自豪了。 下面简单分享一些比赛的经验，希望可以实现散发光的心愿（靠近光，追随光，成为光，散发光）。近期中科院
回到回归的正题，回归问题是机器学习领域中应用的比较广的一种方法，不过我觉得大部分的回归模型都是广义线性模型，在Andrew NG的课程中，对广义线性模型做了比较详细的推导，这篇文章的内容是，线性回归、局部加权回归、岭回归以及前向逐步回归，除了前向逐步回归之外，其他的都是广义线性回归模型，基本思路都是 1，确定损失函数 2，使用梯度下降（或者梯度上升）求解权重参数，算是套路，而这两种套路使用Pyth
转载
2024-04-24 14:22:40
23阅读
1 回归模型的引入由于客观事物内部规律的复杂性及人们认识程度的限制，无法分析实际对象内在的因果关系，建立合乎机理规律的数学模型。所以在遇到有些无法用机理分析建立数学模型的时候，通常采取搜集大量数据的办法，基于对数据的统计分析去建立模型，其中用途最为广泛的一类随即模型就是统计回归模型。回归模型确定的变量之间是相关关系，在大量的观察下，会表现出一定的规律性，可以借助函数关系式来表达，这种函数就称为回归
转载
2024-03-06 07:02:58
157阅读
✅作者简介：热爱科研的Matlab仿真开发者，修心和技术同步精进，matlab项目合作可私信。?个人主页：Matlab科研工作室?个人信条：格物致知。更多Matlab完整代码及仿真定制内容点击?智能优化算法 神经网络预测 雷达通信 无线传感器 &
原创
2023-09-28 14:16:53
533阅读
[ML学习笔记] XGBoost算法##回归树决策树可用于分类和回归，分类的结果是离散值（类别），回归的结果是连续值（数值），但本质都是特征（feature）到结果/标签（label）之间的映射。这时候就没法用信息增益、信息增益率、基尼系数来判定树的节点分裂了，那么回归树采用新的方式是预测误差，常用的有均方误差、对数误差等（损失函数）。而且节点不再是类别，而是数值（预测值），划分到叶子后的节点预测
本篇对XGBoost主要参数进行解释，方括号内是对应scikit-learn中XGBoost算法模块的叫法。提升参数虽然有两种类型的booster，但是我们这里只介绍tree。因为tree的性能比线性回归好得多，因此我们很少用线性回归。eta [default=0.3, alias: learning_rate]学习率，可以缩减每一步的权重值，使得模型更加健壮： 典型值一般设置为：0.01-0.2
# XGBoost Python回归实现教程
## 概述
本教程旨在教会你如何使用Python中的XGBoost库进行回归分析。XGBoost是一种基于梯度提升树的机器学习算法，被广泛应用于数据挖掘和预测建模任务。
在这个教程中，我们将按照以下步骤来实现XGBoost回归模型：
1. 加载数据集
2. 数据预处理
3. 划分训练集和测试集
4. 构建XGBoost回归模型
5. 模型训练与优
原创
2023-08-26 12:16:33
558阅读
# Python XGBoost回归实现教程
## 1. 引言
本教程将向刚入行的小白介绍如何使用Python中的XGBoost库实现回归分析。XGBoost是一种高效的机器学习算法，它在许多数据科学竞赛中取得了优异的成绩。通过本教程，你将学会如何使用XGBoost来构建回归模型，预测数值型目标变量。
## 2. 整体流程
下面是实现Python XGBoost回归的整体流程：
```mer
原创
2023-09-12 13:08:03
550阅读
一、简介 Boosting 是一类算法的总称，这类算法的特点是通过训练若干弱分类器，然后将弱分类器组合成强分类器进行分类。为什么要这样做呢？因为弱分类器训练起来很容易，将弱分类器集成起来，往往可以得到很好的效果。俗话说，"三个臭皮匠，顶个诸葛亮"，就是这个道理。这类 boosting 算法的特点是各个弱分类器之间是串行训练的，当前弱分类器的训练依赖于上一轮弱分类器的训练结果。各个弱分类器的权重是
## XGBoost回归实现流程
本文将介绍如何使用Python的XGBoost库实现回归问题。XGBoost是一种基于决策树的集成学习算法，具有较高的准确性和可解释性。以下是实现XGBoost回归的流程图：
```mermaid
graph LR
A[数据准备] --> B[划分训练集和测试集]
B --> C[模型训练]
C --> D[模型预测]
```
### 数据准备
在进行XG
原创
2023-09-28 14:23:15
488阅读
提升（Boosting）是一种常用的统计学习方法，在分类问题中，它通过改变训练样本的权重，学习多个分类器（一般是弱分类器），并将这些分类器线性组合，最终提高分类器的性能。而针对于这种提升方法而言，需要回答两个问题，一是在每一轮如何改变训练样本的权值或概率分布；二是如何将弱分类器组合成一个强分类器。Adaboost属于Boosting一种，它可以很好的解决上述两个问题，针对第一个问题，Adaboos
一、xgboost模型函数形式 xgboost也是GBDT的一种，只不过GBDT在函数空间进行搜索最优F的时候，采用的是梯度下降法也就是一阶泰勒展开；而xgboost采用的是二阶泰勒展开也就是牛顿法，去每次逼近最优的F，泰勒展开越多与原函数形状越接近，比如在x0处进行展开，其展开越多，x0附近与原函数值越接近，且这个附近的区域越大。另外一个xgboost加入了正则化项，有效防止过拟合。 xgbo
转载
2024-03-27 11:59:36
302阅读
线性回归是一种基础且广泛使用的统计方法，用于分析两个或多个变量之间的关系，并构建预测模型。它的核心思想是通过找到一条最佳拟合直线，来描述自变量和因变量之间的关系。线性回归在各个领域有着广泛的应用，包括经济学、工程学、社会科学等。线性回归的背景和简介背景线性回归的历史可以追溯到19世纪，由著名统计学家弗朗西斯·高尔顿和卡尔·皮尔逊发展和推广。它是最简单、最基本的回归分析方法，用于探索和量化两个或多个
转载
2024-07-03 20:27:59
129阅读
数学建模：线性回归模型1.多重线性回归模型1.1 引入线性回归分类简单线性回归（一个自变量）多重线性回归（多个自变量）线性回归的前提条件：线性（散点图，散点图矩阵）独立性正态性（回归分析过程中可以确定）方差齐性（回归分析过程中可以确定）：建模中存在的误差两个变量：X和Y例1：人体的身高和体重X：人体的身高Y：人体的体重身高X大时，体重Y也会倾向于增大，但是X不能严格地决定Y1.2相关关系相关关系：
转载
2023-11-27 13:51:28
114阅读
目录前言XGBoost原理模型函数形式目标函数回归树的学习策略树节点分裂方法(Split Finding）精确贪心算法近似算法数据缺失时的分裂策略XGBoost的其它特性XGBoost工程实现优化之系统设计块结构(Column Block)设计缓存访问优化算法"核外"块计算小结前言XGBoost的全称是eXtreme(极端) Gradient Boosting，是一个是大规模并行的 boostin
转载
2024-05-21 10:22:37
171阅读
表面理解的线性对于给定的一组输入值x和输出值y，我们假定其关系为线性的，就会得出： y = kx+b，即我们在大学前接触到的最基本的线性方程，只要我们求出k和b来，就可以求出整条直线上的点，这就是很多人认为的线性： 简单来说很多人认为：线性回归模型假设输入数据和预测结果遵循一条直线的关系但是，这种理解是一叶障目。线性的含义线性回归模型是：利用线性函数对一个或多个自变量 （x 或 (x1,x2,…x
转载
2024-02-27 21:34:33
237阅读
✅作者简介：热爱科研的Matlab仿真开发者，修心和技术同步精进，matlab项目合作可私信。?个人主页：Matlab科研工作室?个人信条：格物致知。更多Matlab完整代码及仿真定制内容点击?智能优化算法 神经网络预测 雷达通信 无线传感器 &
原创
2023-09-28 14:41:57
245阅读
线性回归基本含义：在统计学中，线性回归(Linear Regression)是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合。只有一个自变量的情况称为简单回归,大于一个自变量情况的叫做多元回归。matlab中代码实现： （1）b=regress( Y, X ) 确定回归系数的点估
转载
2023-12-11 12:31:37
104阅读
文章参考于 笔者只是对其中的代码做了较为详细的注释，便于初学者理解 与线性回归不同，Logistic 回归没有封闭解。但由于损失函数是凸函数，因此我们可以使用梯度下降法来训练模型。事实上，在保证学习速率足够小且使用足够的训练迭代步数的前提下，梯度下降法(或任何其他优化算法)可以是能够找到全局最小值。 第0步：用 0 (或小的随机值)来初始化权重向量和偏置值 第 1 步：计算输入的特征与权重值的线性
转载
2023-08-05 01:35:13
130阅读
数学建模算法笔记（2）–主成分分析目的：主成分分析的主要目的是希望用较少的变量去解释原来资料中的大部分变异，将我 们手中许多相关性很高的变量转化成彼此相互独立或不相关的变量，实际上是一种降维方法。**基本思想确定主成分的个数 1）先把各变量的数据标准化，然后使用协方差矩阵或相关系数矩阵进行分 析。 2）使方差达到大的主成分分析不用转轴 3）主成分的保留。用相关系数矩阵求主成分时，Kaiser主张将
转载
2024-07-20 21:49:14
27阅读
