一、明确需求（因变量y）二、数据清洗缺失值处理异常值处理：一般大于3倍标准差的值视为异常值分类变量的处理：将分类变量改为多列进行处理备注：异常值一般不要直接处理，了解一下是什么情况再行处理，有必要的单独拎出来三、相关分析每个自变量x都和y跑一下相关系数，画个散点图，肉眼判断一下相关性，初步筛选适合放到模型里的自变量四、分割测试集和训练集一般为三七分或者是二八分五、针对训练集跑回归模型并检验初步筛选
转载
2024-02-26 18:29:55
113阅读
利用最小二乘法，计算出一元线性回归方程，可以直接调用函数。但是自主实现更能理解其中的数学逻辑以及有效提高编程能力。这里采用的是t检验，数据来源于1990-2012年国内生产总值与成品刚才需求量的统计数据。代码主体用python来实现的，图片是用matlab实现的(个人感觉matlab做出来的图片呈现出来的效果更好一些)。import numpy as np
from s
逻辑回归算法原理推导Logistic Regression和Linear Regression的原理是相似，但是做的事情不同，Linear Regression解决的是一个具体确定值的问题，Logistic Regression解决的是分类的问题，而且是最经典的二分法，简单高效通俗易懂，原理非常简单。算法并不是越复杂越。分类问题的base model一般选择逻辑回归，其他算法和逻辑回归算法比较，差
机器学习算法day04_Logistic回归分类算法及应用课程大纲Logistic回归分类算法原理Logistic回归分类算法概述Logistic回归分类算法思想Logistic回归分类算法分析算法要点Logistic回归分类算法案例案例需求Python实现Sigmoid函数返回回归系数线性拟合线Logistic回归分类算法补充线性逻辑回归的数学原理
一：线性回归算法：1.模型的介绍在线性回归中，我们建立模型，来拟合多个子变量x（机器学习中成为特征）与一个因变量y之间的关系，y的范围不是离散的，所以这是一个回归问题。线性回归模型，就是 y=w*x+b 我们的目的就是求得一组权重w，使得它与X的点积与真实的y值更加接近。2.损失函数接下来我们想如何让y的真实值与预测值更加接近，或者说怎么表示这个差距，很明显就
转载
2024-03-26 12:45:45
153阅读
线性回归 + 基础优化算法1 线性回归1.1 一个简单模型1.2 线性模型1.3 平方损失1.4 训练数据1.5 损失函数1.6 显式解2 基础优化算法2.1 梯度下降2.2 选择学习率2.3 小批量随机梯度下降2.4 选择批量大小3 线性回归的从零开始实现3.1 生成数据集3.2 读取数据集3.3 初始化模型参数3.4 定义模型3.5 定义损失函数3.6 定义优化算法3.7 训练3.8 比较参
转载
2024-05-11 20:00:29
124阅读
CVPR 2019 | 目标检测之面向更高精度的包围框回归背景介绍主要内容包围框参数化用于包围框回归的KL loss测试阶段的方差投票机制实验分析实验细节：实验结果：总结参考文献 本文为极市作者Panzer原创，欢迎加小助手微信（cv-mart) 备注：研究方向-姓名-学校/公司-城市（如：目标检测-小极-北大-深圳），即可申请加入目标检测、目标跟踪、人脸、工业检测、医学影像、三维&SL
转载
2024-02-27 22:34:10
66阅读
机器学习算法及代码实现–回归算法1 线性回归线性回归假设特征和结果满足线性关系。其实线性关系的表达能力非常强大，每个特征对结果的影响强弱可以由前面的参数体现，而且每个特征变量可以首先映射到一个函数，然后再参与线性计算。这样就可以表达特征与结果之间的非线性关系。
假设有一个房屋销售的数据如下： 我们可以做出一个图，x轴是房屋的面积。y轴是房屋的售价，如下： 我们用X1，X2..Xn 去描述fea
转载
2024-03-28 09:42:48
245阅读
# 使用 LightGBM 进行回归分析的完整流程
LightGBM（Light Gradient Boosting Machine）是一个高效的梯度提升框架，特别适用于大规模数据集和高维数据。本文将指导你如何使用 Python 和 LightGBM 实现回归任务。我们会通过一个具体的流程进行讲解。
## 流程概览
下面是进行 LightGBM 回归分析的基本步骤：
| 步骤 | 描述 |
原创
2024-11-01 05:55:57
164阅读
Bagging和Boosting都是将已有的分类或回归算法通过一定方式组合起来，形成一个性能更加强大的分类器，更准确的说这是一种分类算法的组装方法。即将弱分类器组装成强分类器的方法。 首先介绍Bootstraping，即自助法：它是一种有放回的抽样方法（可能抽到重复的样本）。1. Bagging (bootstra
RF,GBDT,XGBoost,lightGBM都属于集成学习（Ensemble Learning），集成学习的目的是通过结合多个基学习器的预测结果来改善基本学习器的泛化能力和鲁棒性。根据基本学习器的生成方式，目前的集成学习方法大致分为两大类：即基本学习器之间存在强依赖关系、必须串行生成的序列化方法，以及基本学习器间不存在强依赖关系、可同时生成的并行化方法；前者的代表就是Boosti
2.2 线性回归回归：一个或多个自变量与因变量之间的关系之间建模的方法，经常用来表示输入和输出之间的关系 分类：预测数据属于一组类别的哪一个 一个简单的线性模型线性回归是对n维输入的加权，外加偏差使用平方损失来衡量预测值与真实值的差异（乘1/2为了求导方便，并没有太大影行）线性回归有显示解线性回归可以看成单层神经网络2.2.1 数据集构建首先，我们构造一个小的回归数据集。假设输入特征和输
总第161篇/张俊红1.回归模型简介我们先来看一下什么是回归模型，以下解释来源于百度百科：回归模型是一种预测性的建模技术，它研究的是因变量（目标）和自变量（预测器）之间的关系。这种技术通常用于预测分析，时间序列模型以及发现变量之间的因果关系。回归模型最重要的两个应用场景就是预测分析和因果关系分析，比如我们上学的时候学过的一元一次方程组y = kx + b就是一个最简单的回归模型，当我们知道一个x时
转载
2024-03-20 09:18:10
73阅读
# LightGBM回归建模
## 简介
LightGBM是一种快速、高效的梯度提升决策树（GBDT）框架，被广泛应用于数据挖掘和机器学习领域。相比其他GBDT框架，LightGBM具有更高的准确性和更快的训练速度。在本文中，我们将介绍如何使用Python中的LightGBM库进行回归建模。
## 安装
在开始之前，我们需要先安装LightGBM库。可以通过以下命令使用pip进行安装：
``
原创
2023-12-27 04:41:42
281阅读
目录
1 线性规划问题（LP）风格1风格22 非线性规划3 动态规划A星算法基于dijkstra的概率路线图4 多目标规划帕累托最优支配（Dominace）不可支配解集帕累托最优解集帕累托最优前沿面线性加权法约束转化法多目标遗传算法本文总结数学建模中常用的数学规划模型，并附详细的MATLAB求解案例。分为四个模块：求解数学模型的一般步骤如下：•读题+理解模型；•设计
Pytorch实现一个简单回归模型之前学习了一些简单的tensor基础知识，现在我们就由浅入深学习如何使用pytorch实现神经网络，完成回归任务和分类任务。
转载
2024-04-03 20:31:14
67阅读
在机器学习领域，线性回归是最基础也是最常用的算法之一。它通过寻找输入变量（特征）与输出变量（目标）之间的线性关系，来进行预测和分析。本文将详细介绍线性回归的训练代码以及预测函数的实现，帮助初学者掌握这一基础算法的核心原理和代码实现。什么是线性回归？线性回归是一种用于预测目标值的回归分析方法，它假设输入变量与输出变量之间存在线性关系。简单的线性回归模型可以表示为：[ y = \beta_0 + \b
sum_weights 可以通过参数设置。 如果不设置，那么值就是样本的个数。 指定每个样本的权重。 我突然想到基金预测，可以设置样本的权重。 真实涨幅越高，权重越小。 反之，权重越高。 因为如果预测偏低，那么loss 损失越大。 "rmse": sum_loss = 和 (score - labe
原创
2021-07-30 11:39:33
4755阅读
## python lightGBM回归模型
### 介绍
LightGBM是一种高效的梯度提升框架，常用于解决分类和回归问题。它基于决策树算法，具有快速训练速度和高准确性的特点。本文将介绍如何使用Python中的LightGBM库构建一个回归模型。
### 算法原理
LightGBM使用了一种称为“基于直方图的决策树”的算法来构建模型。它通过将特征值分为离散的bin，然后基于这些bin进
原创
2023-09-06 10:30:11
524阅读
简单介绍原因：普通的RNN（Recurrent Neural Network）对于长期依赖问题效果比较差，当序列本身比较长时，神经网络模型的训练是采用backward进行，在梯度链式法则中容易出现梯度消失和梯度爆炸的问题。解决：针对Simple RNN存在的问题，LSTM网络模型被提出，LSTM的核心是修改了增添了Cell State，即加入了LSTM CELL，通过输入门、输出门、遗忘门把上一时
转载
2024-04-01 11:23:29
227阅读
