基本思想GBDT–Gradient Boosting (Regression) Decistion Tree GBDT(Gradient Boosting Decision Tree) 又叫 MART（Multiple Additive Regression Tree)，是一种用于回归的机器学习算法，该算法由多棵回归决策树组成，所有树的结论累加起来做最终答案。当把目标函数做变换后，该算法亦可用于
转载
2024-05-16 12:46:08
81阅读
2.2 线性回归回归：一个或多个自变量与因变量之间的关系之间建模的方法，经常用来表示输入和输出之间的关系 分类：预测数据属于一组类别的哪一个 一个简单的线性模型线性回归是对n维输入的加权，外加偏差使用平方损失来衡量预测值与真实值的差异（乘1/2为了求导方便，并没有太大影行）线性回归有显示解线性回归可以看成单层神经网络2.2.1 数据集构建首先，我们构造一个小的回归数据集。假设输入特征和输
一：线性回归算法：1.模型的介绍在线性回归中，我们建立模型，来拟合多个子变量x（机器学习中成为特征）与一个因变量y之间的关系，y的范围不是离散的，所以这是一个回归问题。线性回归模型，就是 y=w*x+b 我们的目的就是求得一组权重w，使得它与X的点积与真实的y值更加接近。2.损失函数接下来我们想如何让y的真实值与预测值更加接近，或者说怎么表示这个差距，很明显就
转载
2024-03-26 12:45:45
153阅读
回归简单线性回归数据预处理利用sklearn.linear_model中的LinearRegression类运用类创建regressor回归器对象利用训练集拟合回归器，也即是机器“学习”的过程利用拟合好的回归器预测测试集将结果可视化简单线性回归代码import numpy as np
import matplotlib.pyplot as plt
import pandas as pd
from
转载
2024-08-05 16:48:49
57阅读
## python lightGBM回归模型
### 介绍
LightGBM是一种高效的梯度提升框架，常用于解决分类和回归问题。它基于决策树算法，具有快速训练速度和高准确性的特点。本文将介绍如何使用Python中的LightGBM库构建一个回归模型。
### 算法原理
LightGBM使用了一种称为“基于直方图的决策树”的算法来构建模型。它通过将特征值分为离散的bin，然后基于这些bin进
原创
2023-09-06 10:30:11
524阅读
简单介绍原因：普通的RNN（Recurrent Neural Network）对于长期依赖问题效果比较差，当序列本身比较长时，神经网络模型的训练是采用backward进行，在梯度链式法则中容易出现梯度消失和梯度爆炸的问题。解决：针对Simple RNN存在的问题，LSTM网络模型被提出，LSTM的核心是修改了增添了Cell State，即加入了LSTM CELL，通过输入门、输出门、遗忘门把上一时
转载
2024-04-01 11:23:29
227阅读
——————1 GMM基础高斯混合模型（GMM）指的是多个高斯分布函数的线性组合，理论上GMM可以拟合出任意类型的分布，通常用于解决同一集合下的数据包含多个不同的分布的情况。灵魂的拷问：为什么GMM可以拟合出任意类型的分布？AI大语音：不仅GMM可以，只要性质不太奇怪的混合模型一般都能近似任意分布。这个思想和泰勒展开、傅里叶变换是类似的，任何波形都可以用正弦波叠加表示，而且频率还是基频
转载
2024-04-29 12:32:23
107阅读
概率论和数理统计是一对兄弟：概率论负责在已知分布函数的情况下研究样本；数理统计负责在已知样本的情况下，反推分布函数的特性。假设我们获取了样本数据，同时知道分布函数的大概形式，只是不知道分布函数的参数，那么可以使用数理统计中的点估计方法来估计分布函数的参数。点估计包括矩估计和极大似然估计。极大似然估计是很重要的点估计方法。 GMM模型即高斯混合模型，根据大数定律，在日常生活中，很多概率事件
转载
2024-03-15 14:47:52
83阅读
线性回归 + 基础优化算法1 线性回归1.1 一个简单模型1.2 线性模型1.3 平方损失1.4 训练数据1.5 损失函数1.6 显式解2 基础优化算法2.1 梯度下降2.2 选择学习率2.3 小批量随机梯度下降2.4 选择批量大小3 线性回归的从零开始实现3.1 生成数据集3.2 读取数据集3.3 初始化模型参数3.4 定义模型3.5 定义损失函数3.6 定义优化算法3.7 训练3.8 比较参
转载
2024-05-11 20:00:29
124阅读
# 如何使用Python实现LightGBM回归模型
## 一、整体流程
下面是实现LightGBM回归模型的整体流程：
| 步骤 | 描述 |
|------|--------------------|
| 1 | 安装必要的库 |
| 2 | 导入数据集 |
| 3 | 数据预处理 |
| 4
原创
2024-07-14 05:56:02
162阅读
导读： 本文总结了一些常用的除线性回归模型之外的模型，其中包括一些单模型及集成学习器。保序回归、多项式回归、多输出回归、多输出K近邻回归、决策树回归、多输出决策树回归、AdaBoost回归、梯度提升决策树回归、人工神经网络、随机森林回归、多输出随机森林回归、XGBoost回归。保序回归保序回归或单调回归是一种将自由形式的直线拟合到一系列观测值上的技术，这样拟合的直线在所有地方都是非递减(
转载
2024-05-07 20:55:18
217阅读
具体原理不讲了，线性回归模型，代价损失函数 COST是均方误差，梯度下降方法。属性取值。模型的属性取值设置需要根据每一个参数的取值范围来确定，将所有的属性的取值统一正则化normalization，统一规定在0~1的范围，或者-1~1的范围内，这样在进行线性回归时不会造成额外的回归开销。另外，正则化的方法有很多，常见的方法就是线性正则化，这是在不知道属性对预测值的影响的前提下才这么做的。之所以进行
转载
2024-03-21 20:12:15
44阅读
数据处理工具记录【二】—— 回归选择和训练模型线性回归模型普通线性回归多项式回归岭回归套索回归（Lasso）弹性网络逻辑回归Softmax回归（多元逻辑回归）总结SVM回归决策树模型随机森林模型交叉验证微调模型网络搜索随机搜索分析最佳模型及其错误通过测试集评估系统早期停止法 选择和训练模型线性回归模型普通线性回归from sklearn.linear_model import LinearReg
转载
2024-05-15 06:50:38
97阅读
### Python实现LightGBM回归预测模型
本文将介绍如何使用Python实现LightGBM回归预测模型。LightGBM是一个基于梯度提升决策树（Gradient Boosting Decision Tree）的机器学习算法，它在训练速度和准确性方面有着优势，并且支持并行化。下面是实现该模型的步骤和代码示例。
#### 步骤概览
下面的表格展示了整个实现过程的步骤概览：
|
原创
2023-08-24 19:47:10
2122阅读
GBDT可以看做是由多棵回归树组成的，所以要理解GBDT，就要先理解回归树。回归树也是为了做预测，只是将特征空间划分成了若干个区域，在每个区域里进行预测，举个简单例子。图中的数据有两个特征：x1、x2，根据这两个特征可以很容易地把数据分为左下角、左上角、右上角、右下角四个区域，这四个区域各有一个中心点（5,5）、（5,10）、（10,10）、（10,5），在对新数据做预测时，该数据落在哪个区域，就
转载
2024-05-30 22:05:59
131阅读
1/LightGBM分类和回归LightGBM有两大类接口：LightGBM原生接口 和 scikit-learn接口 ，并且LightGBM能够实现分类和回归两种任务。复制代码2/分类任务<1>基于LightGBM原生接口的分类import numpy as npimport lightgbm as lgbfrom sklearn import datasets # 数据集from
原创
2022-01-02 16:54:18
6299阅读
# 使用 LightGBM 进行回归分析的完整流程
LightGBM（Light Gradient Boosting Machine）是一个高效的梯度提升框架，特别适用于大规模数据集和高维数据。本文将指导你如何使用 Python 和 LightGBM 实现回归任务。我们会通过一个具体的流程进行讲解。
## 流程概览
下面是进行 LightGBM 回归分析的基本步骤：
| 步骤 | 描述 |
原创
2024-11-01 05:55:57
164阅读
总第161篇/张俊红1.回归模型简介我们先来看一下什么是回归模型，以下解释来源于百度百科：回归模型是一种预测性的建模技术，它研究的是因变量（目标）和自变量（预测器）之间的关系。这种技术通常用于预测分析，时间序列模型以及发现变量之间的因果关系。回归模型最重要的两个应用场景就是预测分析和因果关系分析，比如我们上学的时候学过的一元一次方程组y = kx + b就是一个最简单的回归模型，当我们知道一个x时
转载
2024-03-20 09:18:10
73阅读
Bagging和Boosting都是将已有的分类或回归算法通过一定方式组合起来，形成一个性能更加强大的分类器，更准确的说这是一种分类算法的组装方法。即将弱分类器组装成强分类器的方法。 首先介绍Bootstraping，即自助法：它是一种有放回的抽样方法（可能抽到重复的样本）。1. Bagging (bootstra
RF,GBDT,XGBoost,lightGBM都属于集成学习（Ensemble Learning），集成学习的目的是通过结合多个基学习器的预测结果来改善基本学习器的泛化能力和鲁棒性。根据基本学习器的生成方式，目前的集成学习方法大致分为两大类：即基本学习器之间存在强依赖关系、必须串行生成的序列化方法，以及基本学习器间不存在强依赖关系、可同时生成的并行化方法；前者的代表就是Boosti
