文章目录视频理解领域小样本学习调研报告0 前言1. 分类Action Genome(li Feifei2019)提出的分类：ProtoGAN提出的分类2. 常用数据集总结结论3. 开源代码TRX4. 论文简述4.1 [ProtoGAN: Towards Few Shot Learning for Action Recognition](https://arxiv.org/abs/1909.079
转载
2024-05-24 12:31:48
63阅读
在机器学习模型训练中，往往希望训练得到得模型具有很好的泛化能力，得到一个在训练集上表现很好的模型。为了达到这个目的，应该从训练样本中尽可能学出适用于所有潜在样本的“普遍规律”。然而，学得“太好”很可能出现过拟合现象。提高泛化能力的方法有很多，其中一种可以增加样本数量。但是当带标签的样本数量有限时，该如何处理？如果只有一个包含m个样例的数据集D={(x1,y1),(x2,y2)...(x
转载
2024-05-09 12:01:56
252阅读
1 最小二乘法的历史不管是学习机器学习、计量经济学、数理统计，很多人接触到的第一个算法就是最小二乘法（least squares method）。这是一个非常古老的方法。早在18世纪早期，在天文学和航海领域就已经出现了最小二乘法的思想。真正意义上第一个正式发表该方法是在1806年的法国科学家Legendre，而数学王子Gauss据说在更早时候就发现了该方法，但直到1809年他在发表计算天体运动轨道
转载
2024-05-13 20:33:53
80阅读
目录：一、点估计 1、矩估计法 2、顺序统计量法 3、最大似然法 4、最小二乘法二、区间估计 1、一个总体参数的区间估计：总体均值的区间估计总体比例的区间估计总体方差的区间估计 2、两个总体参数的区间估计：两个总体均值之差的区间估计两个总体比例之差的区间估计两个总体方差比的区间估计 三、样本量的确定 1、估计总体均值时样本量的确定 2、估计总体比例时样本量的确定 
一 线性回归（最小二乘法）假设我们有n个样本数据，每个数据有p个特征值，然后p个特征值是线性关系。即对应的线性模型写成矩阵的形式即是Y=XA由于样本与模型不一定百分百符合，存在一些噪声，即误差，用B表示，B也是一个向量即B=Y-XAY为样本值，XA为模型的计算值，即期望值误差的平方的计算公式Xi为行向量，A为列向量。最小二乘法的目标就是取得最小的e对应的A，由于方差的计算是一个二次函数
转载
2024-06-19 10:42:46
162阅读
文章目录一、线性回归二、最小二乘法三、最小二乘法（向量表示）四、Python实现 一、线性回归 给定由n个属性描述的样本x=(x0, x1, x2, … , xn)，线性模型尝试学习一个合适的样本属性的线性组合来进行预测任务，如：f(x) = w1x1 + w2x2 + … + wnxn + b = w.T @ x + b。通过一定方法学得向量w和常数b后，模型便可以确定下来。 而对于给定
转载
2024-07-08 19:15:18
160阅读
什么是回归分析？ 回归分析是一种预测性的建模技术，它研究的是因变量（目标）和自变量（预测器）之间的关系。这种技术通常用于预测分析，时间序列模型以及发现变量之间的因果关系。例如，司机的鲁莽驾驶与道路交通事故数量之间的关系，最好的研究方法就是回归。 回归分析是建模和分析数据的重要工具。在这里，我们使用曲线/线来拟合这些数据点，在这种方式下，从曲线或线到数据点的距离差异最小。我会在接下来的部分详细解释
上一篇《小样本OLS回归的框架》讲解了小样本OLS回归的主要框架，本文沿着该框架，对小样本OLS回归做一个全面的梳理。1 假设这里先将所有的小样本OLS回归中可能用到的假设放到一起，方便浏览。当然，后面的每一个结论并不是要用到所有的假设，而是只用到某几个假设，这在后面讲每个结论时会具体说明。假设1 线性性：\(y_i=x_i'\beta+\varepsilon_i\)，其中\(\beta\)是未知
转载
2024-01-19 10:53:39
59阅读
在只有有限个数据点的情况下，使用最小二乘法来对样本点做回归，势必会造成模型过拟合。什么意思呢？下面有两幅图： 分别是使用三阶多项式和九阶多项式对样本点做最小二乘回归的结果（红色的线），而样本点是由绿色的线加上一些噪音所生成的。可以看到，显然三阶多项式对真实模型的逼近效果更好，而九阶多项式的效果很差，虽然它做到了平方误差和为零，但你拿这个九阶模型去预测的话，预测结果会非常离谱。 那为什么对样本拟合非
转载
2024-04-23 15:43:06
340阅读
线性回归是最基础和常见的算法，属于监督学习的一种，是讲述算法开始的地方。我们在中学、大学学过很多次，虽然我已完全不记得。线性回归作为基础，虽然simple但不意味着easy，对其掌握很重要的。虽然看上去平平无奇，不过其内涵之丰富让人惊叹，很多复杂的算法中都能看到线性回归的影子，可以自然的过渡到逻辑回归、多层感知机、再到深度学习等复杂的方法。本篇主要结构如下：快照snapshot：sklearn实例
2.7 计算图 Computation Graph-前向传播一个神经网络的计算，都是按照前向或反向传播过程组织的。 首先我们计算出一个新的网络的输出（前向过程），紧接着进行一个反向传输操作。后者我们用来计算出对应的梯度或导数。计算图解释了为什么我们用这种方式组织这些计算过程。观察上图。 这里说明了计算成本函数 J(a,b,c)=3(a+bc) 的过程。计算这个函数实际上有三个不同的步骤step1:
转载
2024-10-08 18:17:03
33阅读
什么是小样本学习模型在学习了一定类别的大量数据后，对于新的类别，只需要少量的样本就能快速学习，这就是few shot learning 要解决的问题。 对比学习拉近同类样本的距离，拉远异类样本的距离。 GPT3 基于transformer的encoder的模型。1600亿的参数。bert-base 一亿参数。 无法部署GPT3，但是可以借鉴思想。GPT3的零样本学习实际上做的是续写的任务，只不过这
转载
2024-10-14 14:21:45
64阅读
今天我来结合代码详细介绍一下如何用SciSharp STACK的TensorFlow.NET来训练一个线性回归的基本模型。线性回归模型是初入机器学习领域必修的基本模型。TensorFlow.NET为广大.NET开发者提供了一个除了ML.NET的第二个机器学习框架选择。什么是线性回归？线性回归是一种线性方法，利用数理统计中回归分析对因变量与一个或多个独立变量之间的关系进行建模，运用十分
一、性能度量概念 对学习器的泛化性能进行评估，不仅需要有效可行的实验估计方法，还需要有衡量模型泛化能力的评估标准，这就是性能度量。,其中 是示例 的真实标记。要评估机器学习 的性能，就要把学习器预测结果 与真实标记 二、回归任务性能度量 回归任务最常用的性能度量是“均方误差”(mean squared error) 和概率密度函数，均方误差可描述为三、分类任务性能度量 以
第四章 过度拟合与模型调优4.4 Brodnjak-Vonina 等（ 2005 ）提出了一种在食品科学研究中检测样本油脂类别的方法。在此方法中，他们使用气象色谱仪（一个能够分离样本化学物质的仪器）测量了油脂中7 种不同的脂肪酸。这些测量将被用来预测食物样本中含有的油脂类型。他们使用了96 个含有七种油脂的样本进行建模 。这些数据可以在caret 包中输入data(oil)得到。油脂的类
转载
2024-05-09 21:43:39
191阅读
本文作者：Francois Chollet概述在本文中，将使用VGG-16模型提供一种面向小数据集（几百张到几千张图片）构造高效、实用的图像分类器的方法并给出试验结果。本文将探讨如下几种方法：从图片中直接训练一个小网络（作为基准方法）利用预训练网络的bottleneck（瓶颈）特征fine-tune预训练网络的高层本文需要使用的Keras模块有：fit_generator：用于从Py
目录小样本学习研究现状现有工作Are Large-scale Datasets Necessary for Self-Supervised Pre-training? 小样本学习研究现状目前，计算机视觉神经网络被大量参数化：它们通常有数千万或数亿个参数，这是它们成功利用大型图像集合 (如 ImageNet) 的关键。然而，这些高容量模型往往会在小型（包含数十万张图像）甚至中型数据集上过度拟合。因
基础：逻辑回归Logistic 回归模型的参数估计为什么不能采用最小二乘法？logistic回归模型的参数估计问题不能“方便地”定义“误差”或者“残差”。 对单个样本：第i层的权重W[i]维度的行等于i层神经元的个数，列等于i-1层神经元的个数；第i层常数项b[i]b[i]维度的行等于i层神经元的个数，列始终为1。对m个样本,用for循环不如用矩阵快，输入矩阵X的维度为（nx
转载
2024-01-17 14:15:26
37阅读
1. motivation目前的方法在源域和目标域存在较大域间偏差时实用性较差。本文认为：1) 无监督学习可以缓解监督崩溃问题，并且训练得到的模型可以更好地推广到目标域中。2) 因为源数据集和目标数据集之间存在很大差异，因此对源任务有用的特征可能对目标任务没有帮助，甚至有害。所以本文期望在小样本的情况下，通过提取更少的特征来提升泛化性能。2. contribution本文提出了一个“对比学习和特征
本周安排前三天算法模型后面改为下午考试加复习python编程
编程题为主
MySQL数据库
查询题为主
python与MySQL结合操作
网络爬虫
案例实战
python、文件操作、mongodb...
综合理论题
知识点的口头表达能力
'''过程中也可以不断的投递简历 有面试就去面试没有则听课(同步进行)'''
有面试就去面试 没有面试尽量来学校复习(在家里可能没有学习的
转载
2024-06-06 07:50:26
163阅读
