最近在接触用机器学习处理数据进行回归的任务，偶然看到一篇开源代码具有很好的代码规整性，所以通过写这一篇博客来介绍这部分代码。目录一、简介二、关键代码介绍2.1 得分函数2.2 验证函数2.3 评估函数三、公式化训练模型3.1 直接调用式训练3.2 手撕模型式训练四、模型测试五、总结一、简介
线性回归：回归（regression）是指一类为一个或多个自变量与因变量之间关系建模的方法。在自然科学和社会科学领域，回归经常用来表示输入和输出之间的关系。
线性回归：回归中最简单的一类模型。线性回归基于几个简单的假设：首先，假设自变量 \(?\) 和因变量 \(?\) 之间的关系是线性的，即 \(?\) 可以表示为 \(?\)为了解释线性回归，我们举一个实际的例子：我们希望根据房屋的面积（平方英
一元线性回归回归（Regression）一词简单来说，指的是：我们根据之前的数据预测出一个准确的输出值线性回归（Liner Regression）：寻找一条直线，最大程度地拟合样本特征和样本输出标记之间的关系。样本特征只有一个，就被称为简单线性回归。假设预测的线性函数的表达式为： 其中为此模型的参数（parameter）,分别对应于截距和斜率。我们所要做的是选择合适的参数使其最大程度地拟合我们的数
转载
2024-08-20 23:41:28
230阅读
一 线性回归（最小二乘法）假设我们有n个样本数据，每个数据有p个特征值，然后p个特征值是线性关系。即对应的线性模型写成矩阵的形式即是Y=XA由于样本与模型不一定百分百符合，存在一些噪声，即误差，用B表示，B也是一个向量即B=Y-XAY为样本值，XA为模型的计算值，即期望值误差的平方的计算公式Xi为行向量，A为列向量。最小二乘法的目标就是取得最小的e对应的A，由于方差的计算是一个二次函数
转载
2024-06-19 10:42:46
162阅读
在机器学习模型训练中，往往希望训练得到得模型具有很好的泛化能力，得到一个在训练集上表现很好的模型。为了达到这个目的，应该从训练样本中尽可能学出适用于所有潜在样本的“普遍规律”。然而，学得“太好”很可能出现过拟合现象。提高泛化能力的方法有很多，其中一种可以增加样本数量。但是当带标签的样本数量有限时，该如何处理？如果只有一个包含m个样例的数据集D={(x1,y1),(x2,y2)...(x
转载
2024-05-09 12:01:56
252阅读
书上数据集无法获得，所以，拍照之......整理数据集：删除无效数值去掉冗余信息考虑是否把字符串类型的特征通过get_dummies转化成整型数值 #导入pandas
import pandas as pd
stocks = pd.read_csv('文件路径',encoding='gbk')
#定义数据集中的特征X和目标y
X = stocks.loc[:,'现价'：'流通股（亿）'].val
转载
2024-07-07 08:13:00
40阅读
@吴恩达神经网络学习笔记DAY1 回顾一下logistic回归方程： 一、logistic回归模型可以如下表示： 这是在只有一种样本的情况下（x,y）为样本，x为输入参数，y为基本真值，即为每个样本的真实输出结果；w是样本中的特征（如像素等），是一个n维的向量； 为算法的输出值，它的结果因满足于;二、logistic回归的损失函数 在给出的m个样本中，，，…，希望有一个函数能实现每个样本输入时，能
转载
2024-05-11 17:45:16
73阅读
线性回归的数学原理以及代码实现首先要说的是线性模型想要得到的是一个线性组合。狭义的线性回归是想要把所有的点(或者叫特征)用一条直线来拟合，也就是图像上的点要尽可能地落到直线上。而广义的线性回归就不一定非要是直线了，例如在逻辑回归中用的就是一条对数几率的曲线，也就是图像上的点要尽可能的落到那条曲线上面。在这篇文章中主要对线性回归作讨论： 首先呈上线性模型f(x)=wTx+b【优点】每个x前面的w，
转载
2024-06-09 07:11:27
50阅读
目录小样本学习研究现状现有工作Are Large-scale Datasets Necessary for Self-Supervised Pre-training? 小样本学习研究现状目前，计算机视觉神经网络被大量参数化：它们通常有数千万或数亿个参数，这是它们成功利用大型图像集合 (如 ImageNet) 的关键。然而，这些高容量模型往往会在小型（包含数十万张图像）甚至中型数据集上过度拟合。因
"SI是对多个TS流的描述，它包含了PSI" PSI只提供了单个TS流的信息，使接收机能够对单个TS流中的不同节目进行解码；但是，它不能提供多个TS流的相关业务，也不能提供节目的类型、节目名称、开始时间、节目简介等信息。因此，DVB对PSI进行了扩展，提供了其他不同类型的表，形成了SI。 &nb
1. 简单线性回归只有一个未知数x，两个参数的，称为简单线性回归，一条直线。此时不需要线性代数概念，直接迭代求解，形如：1.1 表示形式1.2 定义损失1.3 求参，极大似然2.多元线性回归2.1形式2.2误差2.3求参2.4问题通常不是nxn矩阵，既，数据量：行n，自变量及偏置：列p+1，通常n!=p+1，也就是说矩阵不存在逆；可以：1)加入单位矩阵，让其变正定；其中要足够大使得括号内矩阵可逆。
什么是回归分析？ 回归分析是一种预测性的建模技术，它研究的是因变量（目标）和自变量（预测器）之间的关系。这种技术通常用于预测分析，时间序列模型以及发现变量之间的因果关系。例如，司机的鲁莽驾驶与道路交通事故数量之间的关系，最好的研究方法就是回归。 回归分析是建模和分析数据的重要工具。在这里，我们使用曲线/线来拟合这些数据点，在这种方式下，从曲线或线到数据点的距离差异最小。我会在接下来的部分详细解释
0 引言在一些简单的应用场合，特别是针对手部的，并不需要太多的手部信息，往往关注手部的运动信息，通过识别手部的运动信息便可实现人机交互操作。正是基于此，本文着重关注手部运动特征，通过对运动特征的分析来实现人机交互。本文提出一种基于样本回归分析的手部动作识别算法。1 运动方向判别系统手部动作识别需要依次完成数据采集、预处理、动作解析、特征点提取、创建数据点集、拟合曲线和动作分析等步骤。 由于完成手部
上一篇《小样本OLS回归的框架》讲解了小样本OLS回归的主要框架，本文沿着该框架，对小样本OLS回归做一个全面的梳理。1 假设这里先将所有的小样本OLS回归中可能用到的假设放到一起，方便浏览。当然，后面的每一个结论并不是要用到所有的假设，而是只用到某几个假设，这在后面讲每个结论时会具体说明。假设1 线性性：\(y_i=x_i'\beta+\varepsilon_i\)，其中\(\beta\)是未知
转载
2024-01-19 10:53:39
59阅读
在只有有限个数据点的情况下，使用最小二乘法来对样本点做回归，势必会造成模型过拟合。什么意思呢？下面有两幅图： 分别是使用三阶多项式和九阶多项式对样本点做最小二乘回归的结果（红色的线），而样本点是由绿色的线加上一些噪音所生成的。可以看到，显然三阶多项式对真实模型的逼近效果更好，而九阶多项式的效果很差，虽然它做到了平方误差和为零，但你拿这个九阶模型去预测的话，预测结果会非常离谱。 那为什么对样本拟合非
转载
2024-04-23 15:43:06
340阅读
Linear Regression、Logistic Regression
线性回归 ( Linear Regression ) 线性回归中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归称为一元线性回归。 如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归。{
转载
2024-04-24 18:42:41
51阅读
机器学习中的线性回归——基于R单变量回归一.数据的准备操作，散点图二.进行拟合三.残差的检验多变量线性回归一.数据的预处理二.模型的构建与评价线性模型中的其他问题一.定性特征二.交互项 alr3包好像已经不能下载了，不过可以用里面的数据 链接：https://pan.baidu.com/s/1xg-V5nPulRf6Tvna26dlTQ?pwd=0s1u 提取码：0s1u 可以在这里下载数据，
转载
2024-03-17 14:19:58
67阅读
有监督学习 机器学习分为有监督学习，无监督学习，半监督学习，强化学习。对于逻辑回归来说，就是一种典型的有监督学习。 既然是有监督学习，训练集自然可以用如下方式表述： {(x1,y1),(x2,y2),⋯,(xm,ym)} x0, 则每个样本包含n+1维特征： x=[x0,x1,x2,⋯,xn]T 其中
x∈Rn+1
,
x
目录(?)[+]介绍 内容什么是回归分析我们为什么要用回归分析回归有哪些类型线性回归逻辑回归多项式回归逐步回归岭回归LASSO回归ElasticNet回归如何去选择回归模型参考 介绍 根据受欢迎程度，线性回归和逻辑回归经常是我们做预测模型时，且第一个学习的算法。但是如果认为回归就两个算法，就大错特错了。事实上我们有许多类型的回归方法可以去建模。每一个算法
转载
2024-07-29 21:26:42
48阅读
一.从线性回归的故事说起相信大家都听过著名的博物学家，达尔文的大名，而今天这个故事的主人公就是他的表弟高尔顿。高尔顿是一名生理学家，在1995年的时候，他研究了1078堆父子的身高，发现他们大致满足一条公式，那就是Y=0.8567+0.516*x这条式子中的x指的是父亲的身高，Y指的是儿子的身高。可以明显看出，这就是我们中学时代学的二元一次方程，反应在平面上就是一条直线。通过这条公式，我们或许会直
转载
2024-03-20 08:13:22
47阅读
