目录什么是线性回归模型？ 一元线性回归模型问题引入： 问题解析： 代价函数（损失函数）： 代价函数的图像为什么不是最小而是极小值？ 梯度下降算法 梯度下降算法公式（对于一元线性回归模型）学习率a的选择 关于梯度下降每一步的变化补充： 代码部分 - 案例实现数据 导入数据并绘制初始图 梯度
回归分析是一种应用极为广泛的数量分析方法，主要用于确定2种或2种以上变量间相互依赖的定量关系。回归分析的基本思想是：虽然自变量和因变量之间没有严格的、确定性的函数关系，但可以设法找出最能代表它们之间关系的数学表达形式。建立线性回归模型后，根据实测数据求解模型的各个参数，然后评价回归模型能否很好地拟合实测数据，如果能，能可以根据自变量作进一步预测。由于客运量的影响因素复杂，其变化呈现一定的随机波动特
转载
2024-05-13 13:11:55
90阅读
1. L1和L2范式的区别使用L1正则化的模型建叫做Lasso回归，使用L2正则化的模型叫做Ridge回归（岭回归），即为L1正则化项,指权值向量中各个元素的绝对值之和。 即为L2正则化项指权值向量中各个元素的平方和然后再求平方根。L1范式是对应参数向量绝对值之和 L1范式具有稀疏性L1范式可以用来作为特征选择，并且可解释性较强L2范式是对应参数向量的平方和，再求平方根L2范式
线性回归回归（regression）是能为一个或多个自变量与因变量之间关系建模的一类方法。 在自然科学和社会科学领域，回归经常用来表示输入和输出之间的关系。在机器学习领域中的大多数任务通常都与预测（prediction）有关。 当我们想预测一个数值时，就会涉及到回归问题。 常见的例子包括：预测价格（房屋、股票等）、预测住院时间（针对住院病人等）、 预测需求（零售销量等）。 但不是所有的预测都是回归
# 引入所需要的全部包
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression
from sklearn.preprocessing import StandardScaler
import numpy as np
import matplotlib
在市场的经济活动中，经常会遇到某一市场现象的发展和变化取决于几个影响因素的情况，也就是一个因变量和几个自变量有依存关系的情况。而且有时几个影响因素主次难以区分，或者有的因素虽属次要，但也不能略去其作用。例如，某一商品的销售量既与人口的增长变化有关，也与商品价格变化有关。这时采用一元回归分析预测法进行预测是难以奏效的，需要采用多元回归分析预测法。 多元回归分析预测法，是指通过对两个或两个以上的
转载
2023-08-30 19:58:09
192阅读
回归回归分析是一组统计过程，用于估计因变量（通常称为“结果变量”或“目标”）与一个或多个自变量（通常称为“特征”、“预测变量”或“协变量”）之间的关系。机器学习回归的目标是预测连续值，如销售金额、数量、温度等。PyCaret 的回归模块是一个监督机器学习模块，用于使用各种技术和算法预测连续值/结果。回归可用于预测价值/结果，例如销售额、销售单位、温度或任何连续的数字。一、获取数据from pand
mRMR (Max-Relevance and Min-Redundancy) 最大相关和最小冗余算法为什么会出现mRMR算法？mRMR算法主要是为了解决通过最大化特征与目标变量的相关关系度量得到的最好的m个特征，并不一定会得到最好的预测精度的问题，因为这m个特征存在冗余特征的情况（是指该特征所包含的信息能从其他特征推演出来，如对于“面积”这个特征而言，从能从“长”和“宽”得出，则它是
转载
2023-12-23 11:44:30
405阅读
KNN最近邻法实现回归预测的基本思想：****根据前3个特征属性，寻找最近的k个邻居，然后再根据k个邻居的第4个特征属性，去预测当前样本的第4个特征属性（花瓣宽度）import numpy as np
import pandas as pd
data = pd.read_csv('Iris.csv',header = 0)
data.drop(['Id','Species'],axis = 1,
转载
2024-03-29 13:31:05
49阅读
机器学习一共有两条主线：问题模型问题提出要求，模型给予解决。线性回归线性回归：用线性模型来解决回归问题。线性回归的重点：回归问题线性方程偏差度量权重更新：优化方法线性回归的算法原理基本思路机器学习的核心概念：在错误中学习。这需要两个步骤，首先知道偏离了多少，然后向减少偏差的方向调整权值。偏差度量：找到目标和实际的偏差距离，用“损失函数”表示；权值调整：通过“优化方法”来调整权值，使得偏差减小。数学
转载
2024-03-15 12:02:11
77阅读
mRMR (Max-Relevance and Min-Redundancy) 最大相关和最小冗余算法为什么会出现mRMR算法？mRMR算法主要是为了解决通过最大化特征与目标变量的相关关系度量得到的最好的m个特征，并不一定会得到最好的预测精度的问题，因为这m个特征存在冗余特征的情况（是指该特征所包含的信息能从其他特征推演出来，如对于“面积”这个特征而言，从能从“长”和“宽”得出，则它是
转载
2023-12-14 07:19:21
179阅读
GBDT（Gradient Boost Decision Tree）
GBDT，全称Gradient Boosting Decision Tree，叫法比较多，如Treelink、 GBRT(Gradient Boost Regression Tree)、Tree Net、MART(Multiple Additive Regression Tree)等。GBDT是决策树中的回归树，决策树
转载
2024-03-10 08:45:14
71阅读
引言机器学习（Machine Learning）是人工智能（AI）的重要组成部分，目前已广泛应用于数据挖掘、自然语言处理、信用卡欺诈检测、证券市场分析等领域。量化投资作为机器学习在投资领域内最典型的应用之一，已经越来越广泛的出现在我们的视野中。机器学习可简单理解为利用统计模型或算法拟合样本数据并进行预测，其模型算法根据学习任务可以分为分类、回归和聚类。分类方法是对离散型随机变量建模或预测的监督学习
# 多元线性回归及其在Java中的预测应用
## 引言
多元线性回归是一种统计分析方法，用于研究自变量与因变量之间的关系。在实际应用中，我们经常需要利用多元线性回归来预测未来的结果。本文将介绍多元线性回归的原理，并演示如何使用Java来进行预测计算。
## 多元线性回归原理
在多元线性回归中，我们假设因变量（Y）与多个自变量（X1, X2, ..., Xn）之间存在线性关系，即：
Y = β0
原创
2024-02-26 08:06:09
155阅读
1 简介2 问题3 数据分析4 数据处理5 lstm模型6 训练模型7 预测结果 详细代码见github: https://github.com/pjgao/lstm_helloworld/1 简介针对时间序列预测问题传统方法如ARIMA算法来拟合序列，综合考虑趋势、循环、季节等因素。 随着深度学习的飞速发展，基于RNN的方法在时间序列中的应用越来越广泛。 本文使用air passenger
转载
2024-03-26 11:15:21
83阅读
GBDT简介GBDT的全称是Gradient Boosting Decision Tree，梯度提升决策树，它在普通决策树的基础上添加了梯度提升方法，从1颗决策树演变为多颗决策树，逐步提升学习精度。网上有大量介绍GBDT的文章，大部分都是讲原理和推公式，公式推导是算法的精髓，自己亲自推导一遍，更有感觉。但考虑到算法的复杂度，不妨先从源码实现的角度理解算法流程，再反过来理解公式推导，似乎效率更高，因
转载
2024-05-10 16:00:21
93阅读
综述GBDT(Gradient Boosting Decision Tree) 又叫 MART（Multiple Additive Regression Tree)，是一种迭代的决策树算法，该算法由多棵决策树组成，所有树的结论累加起来做最终答案。它在被提出之初就和SVM一起被认为是泛化能力较强的算法。 GBDT中的树是回归树（不是分类树），GBDT用来做回归预测，调整后也可以用于分类。 G
转载
2024-05-05 07:01:54
52阅读
范例题目： 建立一个逻辑回归模型预测一个学生是否通过研究生入学考试。N表示训练集中学生个数，Score1、Score2、 Score3、 Score4是N维数组，分别表示N个学生研究生初试、专业课复试、英语面试成绩、专业课面试成绩。Admitted是N维{0,1}数组，1代表被录取，0代表未被录取。给出逻辑回归的参数结构、初始化过程、损失函数（经验风险）设置，基于随机梯度下降和梯度下降的参数学习过
转载
2024-03-25 09:13:01
57阅读
写在前面分类问题的目标是预测输入数据点所对应的单一离散的标签。另一种常见的机器学习问题是回归问题，它预测一个连续值而不是离散的标签，例如，根据气象数据 预测明天的气温，或者根据软件说明书预测完成软件项目所需要的时间。不要将回归问题与 logistic 回归算法混为一谈。令人困惑的是，logistic 回归不是回归算法， 而是分类算法。波士顿房价数据集本文将要预测20 世纪70 年代中期波士顿郊区房
转载
2023-11-19 18:27:31
119阅读
3. 具体过程3.1 构造预测函数Logistic Regression虽然名字里带“回归”，但是它实际上是一种分类方法，用于两分类问题（即输出只有两种）。根据第二章中的步骤，需要先找到一个预测函数（h），显然，该函数的输出必须是两个值（分别代表两个类别），所以利用了Logistic函数（或称为Sigmoid函数），函数形式为： &
转载
2024-05-14 08:24:55
64阅读
