在机器学习模型训练中，往往希望训练得到得模型具有很好的泛化能力，得到一个在训练集上表现很好的模型。为了达到这个目的，应该从训练样本中尽可能学出适用于所有潜在样本的“普遍规律”。然而，学得“太好”很可能出现过拟合现象。提高泛化能力的方法有很多，其中一种可以增加样本数量。但是当带标签的样本数量有限时，该如何处理？如果只有一个包含m个样例的数据集D={(x1,y1),(x2,y2)...(x
转载
2024-05-09 12:01:56
256阅读
上一篇《小样本OLS回归的框架》讲解了小样本OLS回归的主要框架，本文沿着该框架，对小样本OLS回归做一个全面的梳理。1 假设这里先将所有的小样本OLS回归中可能用到的假设放到一起，方便浏览。当然，后面的每一个结论并不是要用到所有的假设，而是只用到某几个假设，这在后面讲每个结论时会具体说明。假设1 线性性：\(y_i=x_i'\beta+\varepsilon_i\)，其中\(\beta\)是未知
转载
2024-01-19 10:53:39
59阅读
什么是回归分析？ 回归分析是一种预测性的建模技术，它研究的是因变量（目标）和自变量（预测器）之间的关系。这种技术通常用于预测分析，时间序列模型以及发现变量之间的因果关系。例如，司机的鲁莽驾驶与道路交通事故数量之间的关系，最好的研究方法就是回归。 回归分析是建模和分析数据的重要工具。在这里，我们使用曲线/线来拟合这些数据点，在这种方式下，从曲线或线到数据点的距离差异最小。我会在接下来的部分详细解释
在只有有限个数据点的情况下，使用最小二乘法来对样本点做回归，势必会造成模型过拟合。什么意思呢？下面有两幅图： 分别是使用三阶多项式和九阶多项式对样本点做最小二乘回归的结果（红色的线），而样本点是由绿色的线加上一些噪音所生成的。可以看到，显然三阶多项式对真实模型的逼近效果更好，而九阶多项式的效果很差，虽然它做到了平方误差和为零，但你拿这个九阶模型去预测的话，预测结果会非常离谱。 那为什么对样本拟合非
转载
2024-04-23 15:43:06
340阅读
目录小样本学习研究现状现有工作Are Large-scale Datasets Necessary for Self-Supervised Pre-training? 小样本学习研究现状目前，计算机视觉神经网络被大量参数化：它们通常有数千万或数亿个参数，这是它们成功利用大型图像集合 (如 ImageNet) 的关键。然而，这些高容量模型往往会在小型（包含数十万张图像）甚至中型数据集上过度拟合。因
第四章 过度拟合与模型调优4.4 Brodnjak-Vonina 等（ 2005 ）提出了一种在食品科学研究中检测样本油脂类别的方法。在此方法中，他们使用气象色谱仪（一个能够分离样本化学物质的仪器）测量了油脂中7 种不同的脂肪酸。这些测量将被用来预测食物样本中含有的油脂类型。他们使用了96 个含有七种油脂的样本进行建模 。这些数据可以在caret 包中输入data(oil)得到。油脂的类
转载
2024-05-09 21:43:39
191阅读
基础：逻辑回归Logistic 回归模型的参数估计为什么不能采用最小二乘法？logistic回归模型的参数估计问题不能“方便地”定义“误差”或者“残差”。 对单个样本：第i层的权重W[i]维度的行等于i层神经元的个数，列等于i-1层神经元的个数；第i层常数项b[i]b[i]维度的行等于i层神经元的个数，列始终为1。对m个样本,用for循环不如用矩阵快，输入矩阵X的维度为（nx
转载
2024-01-17 14:15:26
37阅读
目录(?)[+]介绍 内容什么是回归分析我们为什么要用回归分析回归有哪些类型线性回归逻辑回归多项式回归逐步回归岭回归LASSO回归ElasticNet回归如何去选择回归模型参考 介绍 根据受欢迎程度，线性回归和逻辑回归经常是我们做预测模型时，且第一个学习的算法。但是如果认为回归就两个算法，就大错特错了。事实上我们有许多类型的回归方法可以去建模。每一个算法
转载
2024-07-29 21:26:42
48阅读
“Few-shot learning”被翻译成“小样本学习”，而不是“Few-dataSet learning”翻译出来的“小样本”。拿文本分类来说，传统的Deep learning 是让模型学会在给定的类上对模型input进行分类，利用众多的(input，label)对进行模型分类功能的拟合：F()这个分类模型只知道了在现有类型(label1,label2,...,labeln)对input进行
转载
2023-10-20 08:26:14
133阅读
《应用预测建模》Applied Predictive Modeling (2013) by Max Kuhn and Kjell Johnson，林荟等译第四章 过度拟合与模型调优4. I .考虑1.1 中描述过的音乐流派数据。在这个例子里，建模的目的是用预测变量将音乐样本划分到相应的音乐流派中， ( a ）你打算用什么方法分割数据？解释其原因。 ( b ）用本章介绍的工具，给出能实现该方法的程序
先验知识： 快速傅立叶变换 第二章： 卷积(convolution)：卷积操作可获取图像区域不同类型特征。 汇合(pooling)：汇合等操作可对这些特质进行融合和抽象。 卷积核(convolution keras),激活函数(activation function)，感受野(receptive filed) 多层卷积汇合等操作的堆叠，各层得到的深层特征逐渐从泛化特征（边缘纹理）过度到高
转载
2023-11-14 21:47:40
122阅读
目录：一、点估计 1、矩估计法 2、顺序统计量法 3、最大似然法 4、最小二乘法二、区间估计 1、一个总体参数的区间估计：总体均值的区间估计总体比例的区间估计总体方差的区间估计 2、两个总体参数的区间估计：两个总体均值之差的区间估计两个总体比例之差的区间估计两个总体方差比的区间估计 三、样本量的确定 1、估计总体均值时样本量的确定 2、估计总体比例时样本量的确定 
1 最小二乘法的历史不管是学习机器学习、计量经济学、数理统计，很多人接触到的第一个算法就是最小二乘法（least squares method）。这是一个非常古老的方法。早在18世纪早期，在天文学和航海领域就已经出现了最小二乘法的思想。真正意义上第一个正式发表该方法是在1806年的法国科学家Legendre，而数学王子Gauss据说在更早时候就发现了该方法，但直到1809年他在发表计算天体运动轨道
转载
2024-05-13 20:33:53
80阅读
标准误其实就是标准差的一种，不过二者的含义有所区别：
标准差计算的是一组数据偏离其均值的波动幅度，不管这组数是总体数据还是样本数据。你看standard deviation，说的就是“偏离”，只是在翻译为中文时，失去了其英文涵义。
而标准误，衡量的是我们在用样本统计量去推断相应的总体参数（常见如均值、方差等）的时候，一种估计的精度。样本统计量本身就是随机变量，每一次抽样，都可以根据抽出的样本情
转载
2024-04-25 13:47:38
82阅读
文章目录视频理解领域小样本学习调研报告0 前言1. 分类Action Genome(li Feifei2019)提出的分类：ProtoGAN提出的分类2. 常用数据集总结结论3. 开源代码TRX4. 论文简述4.1 [ProtoGAN: Towards Few Shot Learning for Action Recognition](https://arxiv.org/abs/1909.079
转载
2024-05-24 12:31:48
63阅读
最近在接触用机器学习处理数据进行回归的任务，偶然看到一篇开源代码具有很好的代码规整性，所以通过写这一篇博客来介绍这部分代码。目录一、简介二、关键代码介绍2.1 得分函数2.2 验证函数2.3 评估函数三、公式化训练模型3.1 直接调用式训练3.2 手撕模型式训练四、模型测试五、总结一、简介
线性回归：回归（regression）是指一类为一个或多个自变量与因变量之间关系建模的方法。在自然科学和社会科学领域，回归经常用来表示输入和输出之间的关系。
线性回归：回归中最简单的一类模型。线性回归基于几个简单的假设：首先，假设自变量 \(?\) 和因变量 \(?\) 之间的关系是线性的，即 \(?\) 可以表示为 \(?\)为了解释线性回归，我们举一个实际的例子：我们希望根据房屋的面积（平方英
一 线性回归（最小二乘法）假设我们有n个样本数据，每个数据有p个特征值，然后p个特征值是线性关系。即对应的线性模型写成矩阵的形式即是Y=XA由于样本与模型不一定百分百符合，存在一些噪声，即误差，用B表示，B也是一个向量即B=Y-XAY为样本值，XA为模型的计算值，即期望值误差的平方的计算公式Xi为行向量，A为列向量。最小二乘法的目标就是取得最小的e对应的A，由于方差的计算是一个二次函数
转载
2024-06-19 10:42:46
162阅读
文章目录一、线性回归二、最小二乘法三、最小二乘法（向量表示）四、Python实现 一、线性回归 给定由n个属性描述的样本x=(x0, x1, x2, … , xn)，线性模型尝试学习一个合适的样本属性的线性组合来进行预测任务，如：f(x) = w1x1 + w2x2 + … + wnxn + b = w.T @ x + b。通过一定方法学得向量w和常数b后，模型便可以确定下来。 而对于给定
转载
2024-07-08 19:15:18
160阅读
一元线性回归回归（Regression）一词简单来说，指的是：我们根据之前的数据预测出一个准确的输出值线性回归（Liner Regression）：寻找一条直线，最大程度地拟合样本特征和样本输出标记之间的关系。样本特征只有一个，就被称为简单线性回归。假设预测的线性函数的表达式为： 其中为此模型的参数（parameter）,分别对应于截距和斜率。我们所要做的是选择合适的参数使其最大程度地拟合我们的数
转载
2024-08-20 23:41:28
230阅读
