大一小白，蒻蒟一个。记录机器学习的学习过程，功底欠缺，某些地方理解错误，还请多多指教。●▽●首先这是一个有监督分类方法，就是数据是给出了样本的正确类别的。而此逻辑回归非比逻辑回归，此是概率分类下的逻辑回归：概率分类：生活中，常常需要对样本进行分类，分类的方法有很多（支持向量机，最小二乘分类，逻辑回归等等）而本文讲得逻辑概率回归分类是：通过求出样本对所有类别的概率，取最大概率所对应的类别即为目标值。
本文参考了Bin的专栏和李航《统计学习方法》。线性回归因为它的简单，易用，且可以求出闭合解，被广泛地运用在各种机器学习应用中。事实上，除了单独使用，线性回归也是很多其他算法的组成部分。线性回归的缺点也是很明显的，因为线性回归是输入到输出的线性变换，拟合能力有限；另外，线性回归的目标值是(−∞,+∞)，而有的时候，目标值的范围是[0,1]（可以表示概率值），那么就不方便了。逻辑回归定义参数估计
转载
2024-08-23 07:29:03
57阅读
目录源码下载一、用线性回归找到最佳拟合直线二、局部加权线性回归三、示例：预测鲍鱼的年龄利用逻辑回归可以实现分类，将直线的两侧划分为两类。现在要利用线性回归实现对连续型的数据做出预测，例如销售量预测或者制造缺陷预测等。一、用线性回归找到最佳拟合直线线性回归优点：结果易于理解，计算上不复杂。缺点：对非线性的数据拟合不好。适用数据类型：数值型和标称型数据。假设输入数据存放在X矩阵[x0,x1,....,
T1：「雅礼集训 2018 Day11」进攻！题目描述：LOJ link题目分析：求选K个全1矩形使其有交的方案数。 考虑容斥，计算每个的矩形被多少个矩形包含，设为，那么答案加上 然后看多算了什么，假设某个方案中矩形的交的大小是一个的矩形，那么它被算了次。 减去的矩形，的矩形，加上的矩形。 那么一个交为的方案被算了 次。 原理可以理解为 点 - 边 + 环 = 1，矩形是一个天然的简单环结构。那
转载
2024-09-30 09:00:24
25阅读
一、问题描述一元线性回归分析时一种非常简单也是非常基本的回归理论，能够用来刻画两个变量之间的以线性关系的变化趋势，进而预测未知点处的数据。 回归分析就是根据已知数据的变化趋势来确定回归函数（方程），其中回归系数待定，而后利用一些数值方法或者统计方法来估计回归系数。 一元线性回归分析就是估计方程y=kx+b是中的系数k和b，常见的方法有：计算数学的方法——最小二乘法、统计方法——最大似然估计法、机器
转载
2024-07-10 14:01:08
131阅读
（这篇文章主要参考了黄言同学的这篇文章，按着自己的理解把文章重写了一遍，删除了一些自己觉得可能不太常用的指标和比较难的公式推导部分，比如决定系数等内容，补充了一些自己想到的小例子。）机器学习评估指标大致可以分成两类，回归（Regression）算法指标和分类（Classification)算法指标。回归（Regression）算法指标常用的回归（Regression）算法指标有平均绝对误差（Mea
转载
2024-05-02 07:40:49
276阅读
回归问题的概率解释线性回归的损失函数线性回归-最小二乘的概率解释（频率学派-最大似然估计）岭回归的损失函数岭回归的概率解释（贝叶斯学派-最大后验估计）结论最大后验估计与最大似然估计 线性回归的损失函数线性回归-最小二乘的概率解释（频率学派-最大似然估计）当我们面对回归问题时，为什么会采用线性回归，最小二乘法来定义成本函数，即1/2的差的平方和。这里给出概率解释：我们拟合的直线的函数值即预测值必然
转载
2024-06-03 13:09:17
60阅读
有关两种回归的实现参考：Python实现.古典回归模型的四个假定线性假定：假定因变量和自变量之间存在线性关系严格外生性——>回归系数无偏且一致无完全多重共线性——>保证参数可估计球型扰动项岭回归惩罚函数惩罚函数法和最小二乘法或者最大似然估计类似，也是求解优化问题。假设自变量为∈，因变量记为，回归系数记为，截距项为。目标函数的一般形式为 其中是损失函数，不同模型的损失函数形式不同，通常有
转载
2024-04-19 13:20:38
220阅读
# 残差法回归估计在Python中的实现
在数据科学和机器学习中，残差法回归是一种评估回归模型性能的常用方法。本文将为您介绍如何在Python中一步一步实现残差法回归估计。
## 流程概述
为了实现残差法回归估计，我们可以将整个过程分成以下几个步骤：
```mermaid
flowchart TD
A[开始] --> B[准备数据]
B --> C[划分训练和测试集]
1、基本概念 线性回归算法(LinearRegression)就是假定一个数据集合预测值与实际值存在一定的误差, 然后假定所有的这些误差值符合正太分布, 通过方程求这个正太分布的最小均值和方差来还原原数据集合的斜率和截距。 当误差值无限接近于0时, 预测值与实际值一致, 就变成了求误差的极小值。 线性回归是机器学习中有监督机器学习下的一种算法。 回归问题主要关注的是因变量(需要预测的值，可
转载
2024-03-18 19:19:03
78阅读
1、逻辑回归与线性回归的联系与区别(1)分类与回归:回归模型就是预测一个连续变量(如降水量，价格等)。在分类问题中，预测属于某类的概率，可以看成回归问题。这可以说是使用回归算法的分类方法。(2)输出:直接使用线性回归的输出作为概率是有问题的，因为其值有可能小于0或者大于1,这是不符合实际情况的。逻辑回归的输出正是[0,1]区间。见下图，(3)参数估计方法：线性回归中使用的是最小化平方误差损失函数，
转载
2024-04-15 15:10:55
0阅读
地理加权回归（GWR）是一种局部的空间回归分析方法，它允许模型参数在空间上变化，从而能够捕捉到空间数据的局部空间非平稳性。GWR模型的基本思想是在回归分析中引入空间权重，使得模型能够根据地理位置的邻近程度对观测值进行加权。1. GWR模型的基本形式其中，是第个观测变量， 是第个观测值的自变量向
转载
2024-08-18 10:06:46
238阅读
本文目标：分析AR模型并求解AR模型的输出x(n)的功率谱。1. AR模型概念观数字信号处理功率谱估计方法分经典功率谱估计和现代功率谱估计，现代功率谱估计以参数模型功率谱估计为代表，参数功率谱模型如下： u(n) ——> H(z) ——>
什么是回归？ 回归的目的是预测数值型的目标值。最直接的办法是依据输入写出一个目标值的计算公式。说到回归，一般都是指线性回归（linear regression），所以本文里的回归和线性回归代表同一个意思。线性回归意味着可以将输入项分别乘以一些常量，再将结果加起来得到输出。极大似然估计 极大似然估计，通俗理解来说，就是利用已知的样本结果信息，反推最具有可能（最大概率）导致这些样本结果出现的模型参数值
转载
2024-06-27 20:00:41
49阅读
上一篇文章讲述了梯度下降法的数学思想，趁热打铁，这篇博客笔者将使用梯度下降法完成多元线性回归，话不多说，直接开始。我们假设我们的目标函数是长这样的：其中的是我们认为对输出产生影响的输入值，而则是我们要求的参数，也就是各个x的权值。需要指出的是，取值为1，也就是式中的第一项代表的是偏置值。是我们根据我们的输入值计算得到的预测输出值。我们如何能找到能使这个预测值最贴近实际值的参数呢？我们引入cost
转载
2024-05-10 09:41:52
61阅读
目 录1. 回归方程2. 回归分析的主要内容3. 回归模型的一般形式4. 回归分析与相关分析1. 回归方程 回归分析是处理变量x与y之间的关系的一种统计方法和技术。所研究的变量之间的关系：即当给定x的值，y的值不能确定，只能通过一定的概率分布来描述。于是，称给定x时y的条件数学期望\(f(x) = E(y | x)\)为随机变量y对x的回归函数，或称为随机变量y对x的均值回归函数。该式从平均意义
转载
2024-05-27 20:12:25
36阅读
1. 模型表达（Model Representation） 我们的第一个学习算法是线性回归算法，让我们通过一个例子来开始。这个例子用来预测住房价格，我们使用一个数据集，该数据集包含俄勒冈州波特兰市的住房价格。在这里，我要根据不同房屋尺寸所售出的价格，画出我的数据集： 我们来看这个数据集，如果你有一个朋友正想出售自己的房子，如果你朋友的房子是1250平方尺大小，你要告诉他
2. 回归分析回归分析与曲线拟合区分。曲线拟合是，根据得到的若干有关变量的一组数据，寻找因变量与（一个或几个）自变量之间的一个函数，使这个函数对那组数据拟合得好。通常，函数的形式可以由经验、先验知识或对数据的直观观察决定，要 作的工作是由数据用小二乘法计算函数中的待定系数。但是，从数理统计的观点看，这里涉及的都是随机变量，我们根据一个样本计算出的那些系数，只是它们的一个（点）估计，应该对它们作区间
回归：从生产到使用【上：使用篇】 前面介绍过几个算法，如KNN、决策树等，都可以用若干个“属性变量”来预测一个“目标变量”，如银行用客户的性别、收入、教育等情况来预测这个客户是否可能流失，再比如上一期说到的朴素贝叶斯在供应链金融里的应用，即用一个企业的规模、资产投资率、以及该企业与这条供应链上下游的关系等“属性变量”，来推测这家企业的还款风险： 本文要介绍的Logistic回归模型，也是其中一种
目录一、理论知识二、Excel多元线性回归1.数据集2.数据分析三、借助Sklearn库实现多元线性回归1.基础包与数据导入2.变量探索3.分析数据4.建立线性回归模型5.Sklearn库建立多元线性回归模型四、参考文献 一、理论知识一元线性回归是分析只有一个自变量（自变量x和因变量y）线性相关关系的方法。一元线性回归分析的数学模型为：y = a+bx+ε。 使用偏差平方和分别对参数a和参数b求
转载
2024-05-20 15:55:54
149阅读
