深度学习模型需要足够的数据支撑才能进行更好地训练，但实际生活中，作为开发者往往无法获取大量的数据，而专业的数据采集和标注公司提供的数据服务也并不便宜，因此，解决此问题有一个较为不错的初级方案，那就是利用图像处理方法，进行数据扩充。我个人在学习和整理过程中，对目前数据扩充守法，无非是两类，一种常规手法，另一种为高级手法;常规手法包含：变换，旋转，剪裁，缩放，锐化，噪声，卷积处理等，特点是利用传统数学
文章目录数据增强方法一、单样本数据增强方法1.1 几何变换类1.2 颜色变换类二、多样本融合数据增强2.1 SMOTE2.2 SamplePairing2.3 mixup2.4 cutout2.5 cutmix2.6 Fmix2.7 roimix三、无监督数据增强方法3.1 GAN3.2 Autoaugmentation 数据增强方法一、单样本数据增强方法1.1 几何变换类包括翻转，旋转，裁剪，
转载
2023-11-10 13:56:36
1215阅读
一、为什么会有batch_size参数经常做训练的童鞋们都知道，batch_size是一个很重要的超参数，每次训练支取batch_size个数据集进行训练，那么，为啥不取全部呢，答案可想而知，应为内存不够呀，放不下呀，小数据集还好，内存勉强够，勉强放的下，但是花费大量的时间加载了数据后，训练了一个epoch之后，发现参数不对，需要重新调参，然后中断训练，花1s调了个参数，花费2h加载了数据，不累么
Batch Augmentation(BA)：提出使用不同的数据增强在同一批次中复制样本实例，通过批次内的增强在达到相同准确性的前提下减少了SGD 更新次数，还可以提高泛化能力。Batch Augmentation (BA)没有 BA 的普通SGD：一个具有损失函数 ℓ (w, xn, yn) 的模型， {xn, yn} 表示目标对的数据集 ，n 从 1 到 N（是 N 个数据样本），其中 xn
这一章我们介绍嵌入模型的增强&正则化方案Mixup和Manifold Mixup，方法朴实无华，效果亲测有效~
前三章我们陆续介绍了半监督和对抗训练的方案来提高模型在样本外的泛化能力，这一章我们介绍一种嵌入模型的数据增强方案。之前没太重视这种方案，实在是方法过于朴实。。。不过在最近用的几个数据集上mixup的表现都比较哇塞，所以我们再来聊聊~Mixu
转载
2024-01-15 15:50:14
205阅读
adaboost+hog识别目标前言:我们将要产生一个包含级联分类器的.xml文件(包含级联分类器的信息)，也就是最为关键的一部分将用到opencv_cratesample.exe和opencv_traincascade.exe(在opencv\build\x64\vc14\bin目录下，如果你是32位选择VC12)。正负样本的准备1.准备工作： 我们要建立一个文件夹，可以命名为my_det，op
转载
2024-09-18 16:06:30
106阅读
解决这一问题的基本思路是让正负样本在训练过程中拥有相同的话语权，比如利用采样与加权等方法。为了方便起见，我们把数据集中样本较多的那一类称为“大众类”，样本较少的那一类称为“小众类”。 解决方式分为： 一、相关方法总结 1、采样 采样方法是通过对训练集进行处理使其从不平衡的数据集变成平衡的数据集，在大部分情况下会对最终的结果带来提升。采样分为上采样（Oversamp
转载
2024-10-30 17:00:21
284阅读
一、什么是对抗样本 对抗样本是一类被恶意设计来攻击机器学习模型的样本。它们与真实样本的区别几乎无法用肉眼分辨，但是却会导致模型进行错误的判断。对抗样本的存在会使得深度学习在安全敏感性领域的应用收到威胁。 如下图所示，通过在自然图片上加入一些人工噪声来“欺骗”神经网络，使得神经网络输出错误的预测结果。 以经典的二分类问题为例，机器学习模型通过在样本上训练，学习出一个分割平面，在分割平面的一
# 对抗样本与机器学习
在机器学习领域，对抗样本（Adversarial Samples）是指通过对输入数据进行微小的扰动，使得原本正确分类的模型产生错误判断的样本。这种现象不仅在视觉识别中广泛存在，例如图像分类模型，也在自然语言处理等领域有着潜在的影响。理解对抗样本及其产生原因对于提高模型的鲁棒性至关重要。
## 什么是对抗样本？
对抗样本的生成一般利用优化算法，通过以下过程实现：
1.
数据扩增的概念数据扩增是指不实际增加原始数据，只是对原始数据做一些变换，从而创造出更多的数据。 数据扩增的目的数据扩增的目的是增加数据量、丰富数据多样性、提高模型的泛化能力。数据扩增的基本原则不能引入无关的数据扩增总是基于先验知识的，对于不同的任务和场景，数据扩增的策略也会不同。扩增后的标签保持不变数据扩增的方法数据扩增方法可分为单样本扩增和多样本扩增单样本扩增包括：图像翻转、图像旋
本章目的：了解样机制作目的和方法1.样机定义：为验证设计或方案的合理性和正确性，或生产的可行性而制作的样品。 2.JB 5054行标关于样机方面的规定2.1 生产过程概念2.1.1 样机（样品）试制 prototype (sample) trial production 样机（样品）试制是为验证新产品的结构和性能等所进行的试制工作。 2.1.2
```mermaid
erDiagram
CUSTOMER ||--o| ORDER : places
ORDER ||--| PRODUCT : contains
```
# 机器学习剔除样本实现流程
## 流程表格
| 步骤 | 描述 |
| --- | --- |
| 步骤1 | 加载数据 |
| 步骤2 | 数据预处理 |
| 步骤3 | 训练模型 |
| 步骤4 |
原创
2024-04-19 04:14:35
67阅读
这篇博文是作者的一个实验笔记，研究一个”飞机-背景“二分类器在不同样本比例下精度，召回率的规律。1. 问题描述固定正样本（飞机）2000个，改变负样本（背景）的训练数据量 1 : 0.5 、 1 : 1 、 1 : 2 、 1 : 5 、 1 : 10 、 1: 30. 随着负样本数量的增多，类间数据量不均衡的情况更为显著。 测试时，分别随机选取4096张飞机、背景样本（不出现在训练集）
2.1样本空间1）对于随机试验，尽管在每次试验之前不能预知试验的结果，但试验的所有可能结果组成的集合是已知的。2）我们将随机试验E所有可能结果组成的集合称为E的样本空间，记为S，样本空间的元素，即E的每个结果，称为样本点。3）下面是试验中的样本空间： 2.2随机事件1）在满足这一条件的样本点组成的S6的一个子集，A=｛t|t>500｝,我们称A为试验E0的一
2020最佳检测 | 带有注意力RPN和多关系检测器的小样本目标检测网络（提供源码和数据及下载）概 要 传统的目标检测方法通常需要大量的训练数据，并且准备这样高质量的训练数据是劳动密集型的（工作）。在本文中，我们提出了少量样本的目标检测网络，目的是检测只有几个训练实例的未见过的类别对象。我们的方法的核心是注意力RPN和多关系模块，充分利用少量训练样本和测试集之间的相似度来检测新对象，同时
近似熵理论相关知识与代码实现近似熵（ApEn）是一种用于量化时间序列波动的规律性和不可预测性的非线性动力学参数，它用一个非负数来表示一个时间序列的复杂性，反映了时间序列中新信息发生的可能性，越复杂的时间序列对应的近似熵越大[1].[1]. Pincus, S. M. (1991). “Approximate entropy as a measure of system complexity”. P
转载
2024-01-29 15:26:31
170阅读
1. 样本量极少可以训练机器学习模型吗？ 在训练样本极少的情况下（几百个、几十个甚至几个样本），现有的机器学习和深度学习模型普遍无法取得良好的样本外表现，用小样本训练的模型很容易陷入对小样本的过拟合以及对目标任务的欠拟合。但基于小样本的模型训练又在工业界有着广泛的需求（单用户人脸和声纹识别、药物研发、推荐冷启动、欺诈识别等样本规模小或数据收集成本高的场景），Few-Shot Learning（
转载
2023-08-02 20:33:34
436阅读
一、采样一致性算法1.1 概述1.2 目的和意义目的：用于排除错误的样本，样本不同对应的应用则不同，例如剔除错误的配准点对、分割出处在模型上的点集等。1.3 方法总结在计算机视觉领域广泛应用各种不同的采样一致性参数估计算法 PCL 中以随机采样一致性算法(RANSAC)为核心，同时实现了五种类似于随机采样一致性估计参数算法的随机参数估计算法，例如随机采样一致性估计(RANSAC)、最大似然一致性估
转载
2023-08-22 19:39:28
201阅读
小样本学习和元学习基础知识人工智能最终依赖于大数据中学习。很难用很少的数据快速概括一个模型。相反，人类可以快速应用他们过去学到的东西来学习新事物。一个重要的方向是缩小人工智能与人类之间的差距。通过有限数据进行学习。少样本学习（few-shot learning）深度学习是data hunger的方法， 需要大量的数据，标注或者未标注。少样本学习研究就是如何从少量样本中去学习。拿分类问题来说,每个类
在做机器学习的时候，当模型训练好之后，我们该如何去评价这个模型的好坏呢？我们首先想到的会是使用正确率来评价模型的好坏。首先来看下正确率公式：  
转载
2024-07-12 01:08:32
389阅读
