有关两种回归的实现参考：Python实现.古典回归模型的四个假定线性假定：假定因变量和自变量之间存在线性关系严格外生性——>回归系数无偏且一致无完全多重共线性——>保证参数可估计球型扰动项岭回归惩罚函数惩罚函数法和最小二乘法或者最大似然估计类似，也是求解优化问题。假设自变量为∈，因变量记为，回归系数记为，截距项为。目标函数的一般形式为 其中是损失函数，不同模型的损失函数形式不同，通常有
转载
2024-04-19 13:20:38
220阅读
回归问题的概率解释线性回归的损失函数线性回归-最小二乘的概率解释（频率学派-最大似然估计）岭回归的损失函数岭回归的概率解释（贝叶斯学派-最大后验估计）结论最大后验估计与最大似然估计 线性回归的损失函数线性回归-最小二乘的概率解释（频率学派-最大似然估计）当我们面对回归问题时，为什么会采用线性回归，最小二乘法来定义成本函数，即1/2的差的平方和。这里给出概率解释：我们拟合的直线的函数值即预测值必然
转载
2024-06-03 13:09:17
60阅读
目录拟合与岭回归1 什么是过拟合与欠拟合2 模型复杂度3 鉴别欠拟合与过拟合4 过拟合解决方法5 岭回归（Ridge）6 模型的保存与加载
转载
2024-08-04 10:09:43
134阅读
（这篇文章主要参考了黄言同学的这篇文章，按着自己的理解把文章重写了一遍，删除了一些自己觉得可能不太常用的指标和比较难的公式推导部分，比如决定系数等内容，补充了一些自己想到的小例子。）机器学习评估指标大致可以分成两类，回归（Regression）算法指标和分类（Classification)算法指标。回归（Regression）算法指标常用的回归（Regression）算法指标有平均绝对误差（Mea
转载
2024-05-02 07:40:49
276阅读
大一小白，蒻蒟一个。记录机器学习的学习过程，功底欠缺，某些地方理解错误，还请多多指教。●▽●首先这是一个有监督分类方法，就是数据是给出了样本的正确类别的。而此逻辑回归非比逻辑回归，此是概率分类下的逻辑回归：概率分类：生活中，常常需要对样本进行分类，分类的方法有很多（支持向量机，最小二乘分类，逻辑回归等等）而本文讲得逻辑概率回归分类是：通过求出样本对所有类别的概率，取最大概率所对应的类别即为目标值。
目录源码下载一、用线性回归找到最佳拟合直线二、局部加权线性回归三、示例：预测鲍鱼的年龄利用逻辑回归可以实现分类，将直线的两侧划分为两类。现在要利用线性回归实现对连续型的数据做出预测，例如销售量预测或者制造缺陷预测等。一、用线性回归找到最佳拟合直线线性回归优点：结果易于理解，计算上不复杂。缺点：对非线性的数据拟合不好。适用数据类型：数值型和标称型数据。假设输入数据存放在X矩阵[x0,x1,....,
T1：「雅礼集训 2018 Day11」进攻！题目描述：LOJ link题目分析：求选K个全1矩形使其有交的方案数。 考虑容斥，计算每个的矩形被多少个矩形包含，设为，那么答案加上 然后看多算了什么，假设某个方案中矩形的交的大小是一个的矩形，那么它被算了次。 减去的矩形，的矩形，加上的矩形。 那么一个交为的方案被算了 次。 原理可以理解为 点 - 边 + 环 = 1，矩形是一个天然的简单环结构。那
转载
2024-09-30 09:00:24
25阅读
一、问题描述一元线性回归分析时一种非常简单也是非常基本的回归理论，能够用来刻画两个变量之间的以线性关系的变化趋势，进而预测未知点处的数据。 回归分析就是根据已知数据的变化趋势来确定回归函数（方程），其中回归系数待定，而后利用一些数值方法或者统计方法来估计回归系数。 一元线性回归分析就是估计方程y=kx+b是中的系数k和b，常见的方法有：计算数学的方法——最小二乘法、统计方法——最大似然估计法、机器
转载
2024-07-10 14:01:08
131阅读
关键词：间隔最大化、无约束优化问题、有约束优化问题、凸函数、仿射函数、凸二次规划问题、希尔伯特空间、拉格朗日乘子法、拉格朗日对偶函数、KKT 条件研究思路支持向量机（support vector machines，SVM）是一种二分类模型。1、硬间隔最大的线性可分的支持向量机前提：数据线性可分。与感知机不同的是，感知机只要找到一个超平面将训练数据集线性可分就可以了，但是 SVM 得到的分离...
原创
2021-08-28 09:52:54
861阅读
【笔记】逻辑回归一、介绍篇1.1什么是逻辑回归LR是Logistic Regression Classifier，本质上是线性回归，特殊之处在于特征到结果的映射中加入了一层逻辑函数g(z)，即先把特征线性求和，然后使用函数**g(z)**作为假设函数来预测。g(z)可以将连续值映射到0 和1。逻辑回归使用的g(z)函数是sigmoid函数。因此逻辑回归=线性回归 + sigmoid。逻辑回归的表达
转载
2024-02-19 21:58:10
222阅读
岭回归(英文名：ridge regression, Tikhonov regularization)是一种专用于共线性数据分析的有偏估计回归方法，实质上是一种改良的最小二乘估计法，通过放弃最小二乘法的无偏性，以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法，对病态数据的拟合要强于最小二乘法。
对于有些矩阵，矩阵中某个元素的一个很小的变动，会引起最后计算结果
转载
2024-05-05 15:35:49
176阅读
梯度下降法不是一个机器学习算法，而是一种基于搜索的最优化方法，用于最小化一个效用函数。简单理解梯度下降法假设存在一个只有一个参数 $\theta$ 的损失函数 $J$，想找到最小极值处的 $\theta$，如图所示：借助于损失函数 $J$ 在 $\theta$ 处的切线，可以直观的反映出损失函数 $J$ 在 $\theta$ 处的导数大小；导数的大小代表着 $\theta$ 变化时 $J$ 相应的
# 残差法回归估计在Python中的实现
在数据科学和机器学习中，残差法回归是一种评估回归模型性能的常用方法。本文将为您介绍如何在Python中一步一步实现残差法回归估计。
## 流程概述
为了实现残差法回归估计，我们可以将整个过程分成以下几个步骤：
```mermaid
flowchart TD
A[开始] --> B[准备数据]
B --> C[划分训练和测试集]
问题引出： 当使用最小二乘法解决一下线性回归： 假设:已知x1,x2与y的关系服从线性回归模型： y=10+2x1+3x2+c 当x1和x2存在线性相关性时，使用最小二乘法来预测回归模型，就变得困难起来，因此物品们必须使用逐步回归。也就是先估计x1，或者x2。这就引出了岭回归！学习内容： 1、 岭回归系数 2、 3、 4、 岭回归系数： 当参数小于特征值时，参数矩阵不满秩，使用最小二乘法
转载
2024-03-15 20:07:42
159阅读
所谓回归，就是根据一组特征数据和结果，预测新的特征数据的结果。这个结果，在一定范围内。比如去银行贷款，银行问了你的工资和年龄（2个特征），他会用这两个做参考，最终给你贷多少钱。而现在有5个样本，就是知道这些人的特征和贷款额度，预测银行给你的贷款额度。工资（x1）年龄(x2)额度(y)400025200008000307000050
转载
2024-04-29 21:32:58
91阅读
1、基本概念 线性回归算法(LinearRegression)就是假定一个数据集合预测值与实际值存在一定的误差, 然后假定所有的这些误差值符合正太分布, 通过方程求这个正太分布的最小均值和方差来还原原数据集合的斜率和截距。 当误差值无限接近于0时, 预测值与实际值一致, 就变成了求误差的极小值。 线性回归是机器学习中有监督机器学习下的一种算法。 回归问题主要关注的是因变量(需要预测的值，可
转载
2024-03-18 19:19:03
78阅读
模型：多元线性回归，稳健回归，偏最小二乘回归，岭回归，lasso回归，弹性网语言：R语言参考书：应用预测建模 Applied Predictive Modeling (2013) by Max Kuhn and Kjell Johnson，林荟等译案例： ( b）在本例中预测变量是各个频率下吸收量的一个测量。由于频率处在一个系统的顺序中（ 850 ～1050 nm ），因此预测
转载
2024-10-08 19:56:54
67阅读
逻辑回归算法背后的数学看完Andrew Ng老师的机器学习公开课后，对于逻辑回归部分，打算写篇学习笔记记录总结一下，也和大家共同分享。 1 基本思能逻辑回归（Logistic Regression）和线性回归（Linear Regression）的模型和原理是相似的（哈哈，给我的感觉就像是街霸游戏里的Ryu和Ken），按照我的理解，算法大致可以分为以下步骤：&nb
转载
2024-03-21 19:53:14
129阅读
1、逻辑回归与线性回归的联系与区别(1)分类与回归:回归模型就是预测一个连续变量(如降水量，价格等)。在分类问题中，预测属于某类的概率，可以看成回归问题。这可以说是使用回归算法的分类方法。(2)输出:直接使用线性回归的输出作为概率是有问题的，因为其值有可能小于0或者大于1,这是不符合实际情况的。逻辑回归的输出正是[0,1]区间。见下图，(3)参数估计方法：线性回归中使用的是最小化平方误差损失函数，
转载
2024-04-15 15:10:55
0阅读
岭回归问题在标准方程法里，我们推导出了求解回归系数的一个公式 这个公式一看就知道是有问题的，当不是满秩的时候，不就求不了逆了吗？若不是满秩，也就是说明特征值中存在向量共线。特征向量共线会带来另一个问题：过拟合。就是说你画出的曲线弯弯扭扭，过于复杂，稍微改变一点参数的值，变化就很大。这个其实好理解，说白了就是你就那么一点儿数据，还整一大堆特征，比如X是三行五列，三个数据，五个特征。学过线性代数的都知
转载
2024-03-21 15:01:15
59阅读
