不均衡样本集的处理不均衡样本在分类时会出现问题，本质原因是模型在训练时优化的目标函数和在测试时使用的评价标准不一致。这种“不一致”可能是由于训练数据的样本分布于测试时期望的样本分布不一致（如训练集正负样本比例是1:99，而实际测试时期望的正负样本比例是1:1）；也可能是由于训练阶段不同类别的权重与测试阶段不一致（如训练时认为所有样本的贡献是相等的，而测试时假阳性样本和假阴性样本有着不同的代价）。基
转载
2024-01-21 10:50:16
322阅读
在现代机器学习和深度学习领域，使用 PyTorch 划分正负样本是一项常见且重要的任务。这项任务通常涉及识别分类问题中的正样本（即目标类）和负样本（即非目标类）。本文将详细介绍如何在 PyTorch 中实现正负样本的划分，采用模块化的结构来满足模型优化的需求。
### 版本对比
随着 PyTorch 的发展，其功能不断扩展，使得正负样本的划分变得更加高效和灵活。在以下时间轴中，我们可以看到主要
文章目录数据集的加载定义训练函数可视化模型预测使用微调 ConvNet 的方法训练和评估ConvNet 作为固定特征提取器训练和评估 官方文档： https://pytorch.org/tutorials/beginner/transfer_learning_tutorial.html 本教程中，您将学会如何使用 迁移学习 来训练卷积神经网络进行图像的分类。 注释： 实际上，很少有人从头开始
转载
2024-06-27 22:59:35
35阅读
背景目前深度学习的应用大多都有比较大的数据 IO 操作与复杂的数据预处理，预处理的主要工作是将原始数据处理成有规则的数据，方便后续使用深度学习框架训练，大部分的数据都会以多维矩阵的方式表示，也就是经常提到的 tensor。整个预处理的流程一般都是使用 CPU 进行计算，以计算机视觉为例，预处理的任务包括从磁盘读取文件，图片剪裁，图片旋转，正则化等等，每个 batch 的数据在训练时都
机器学习中，最重要的一个过程就是模型训练，但是在做模型训练之前需要对数据进行预处理也就是常见的数据清洗和特征工程。数据清洗过程中，比较重要的一步就是查看正负样本是否均衡。那么数据集中出现正负样本不均衡，怎么解决呢？常用的有一下几种方法：采样，采样主要包括上采样（oversampling，有的称为过采样）和下采样（undersampling，有的称为降采样）数据合成，利用已有样本来生成更多的样本，这
转载
2024-03-25 18:59:51
119阅读
什么是类不平衡问题 类不平衡（class-imbalance）是指在训练分类器中所使用的训练集的类别分布不均。比如说一个二分类问题，1000个训练样本，比较理想的情况是正类、负类样本的数量相差不多；而如果正类样本有995个、负类样本仅5个，就意味着存在类不平衡。 在后文中，把样本数量过少的类别称为“
转载
2023-08-21 17:03:12
370阅读
记忆辅助：样本不均衡就是正样本太少，负样本太对，(1)增加正样本-过采样;减少负样本-欠采样(2)分割负样本+正样本构成多个训练集，然后bagging (3)特征选择(4)训练时提高正样本的权重(提高正样本学习率) 1 通过过抽样和欠抽样解决样本不均衡抽样是解决样本分布不均衡相对简单且常用的方法，包括过抽样和欠抽样两种。过抽样过抽样（也叫上采样、over-sampling）方法通过增加
转载
2023-11-17 13:48:51
148阅读
现在看很多anchor-free的方法都有east的影子，和east都很像。点的预测其实就是anchor=1.anchor-based向anchor-free进步的关键其实就在正负样本的分配问题，如何定义正负样本，正负样本的分布，分配，loss设计都是关键，在cascade rcnn通过不断的控制IOU对正负样本进行筛选来设计样本分布，在re
转载
2024-08-21 19:27:41
59阅读
假设特征有效，正负样本在特征空间里的分布是有差别的，比如有的空间区域正负样本比例是1:10，而有的区域正负样本比例是1:1000000，即特征对于样本预测仍然有效
原创
2022-07-18 15:10:12
379阅读
1， Bootstrapping，hard negative mining 最原始的一种方法，主要使用在传统的机器学习方法中。 比如，训练随机森林，对于每一个树就是采样booststraping方法采样，也算是随机森林的其中一个随机性表现。再比如bagging方法，也是基于该有放回重采样方法。比如，SVM分类中去掉那些离分界线较远的样本，只保留离分界线较近的样本。 2， heuristi
什么是正负样本?正负样本是在训练过程中计算损失用的，而在预测过程和验证过程是没有这个概念的。正样本并不是手动标注的GT。正负样本都是针对于算法经过处理生成的框而言，而非原始的GT数据。正例是用来使预测结果更靠近真实值的，负例是用来使预测结果更远离除了真实值之外的值的。训练的时候为什么需要进行正负样本筛选？ 在目标检测中不能将所有的预测框都进入损失函数进行计算，主要原因是框太多，参数量太大
转载
2023-11-15 07:31:17
863阅读
作者：Vandit Jain本文是对 CVPR 2019 论文「Class-Balanced Loss Based on Effective Number of Samples」的一篇点评。这篇论文针对最常用的损耗（softmax 交叉熵、focal loss 等）提出了一种按类重新加权的方案，以快速提高精度，特别是在处理类高度不平衡的数据时尤其有用。本文的实现方法（PyTorch）的 githu
转载
2024-06-10 12:20:17
96阅读
一、主干网络（用以提取特征图）将研究数据集送入Backbone,进行特征图提取。经过不同的stride，得到不同尺寸大小的特征图。如图：输入图片尺寸为800x1024，C1得到的尺寸为400x512，C2为200x256，C3-C5尺寸如上图所示。将得到的C3-C5，经过1x1卷积横向链接，双线性插值自顶向下，相邻特征图进行融合，得到包含更多语义信息的特征图。对其进行3x3卷积操作，减少特征混叠现
SVM能实现功能即在给出的正负样本中找到一条分割线（面），将正负样本分割出来。而这条分割线（面）即我们所说的分类器，其记录的正样本的特征，以及和负样本的区别。当有新的样本过来时，则通过和分类器比较即可分辨出新的样本是否属于正样本行列。 以车辆识别为例，SVM的一般使用步骤如下：1、获取正负样本。前面说了SVM能够找到一条存在与正负样本之间的分割线（面），那么何为正负样本呢？所谓正样本，即
转载
2024-04-16 10:36:19
67阅读
对正负样本的选择1.ssd:设置一个阈值（0.5），大于这个阈值的框为正样本，其它框作为负样本鉴定为背景。但是负样本还是远大于正样本，因此采用了难样本挖掘。难样本挖掘的具体操作是计算出所以负样本的损失进行排序，选取损失较大的TOP-K个负样本，这里的K设为正样本数量的3倍。在Faster-RCNN中是通过限制正负样本的数量来保证样本均衡，SDD则采用了限制正负样本的比例。对于留下的预测框执行NMS
转载
2023-11-09 10:06:05
580阅读
1、有关于RPN：RPN是用3x3的窗口在feature map上进行滑动卷积，最后输出一系列的矩形目标候选区域，每一个区域还拥有objectness score。该objectness score就是该框内有目标的可能性（不分类别，只判有无），打分主要呢是判断该框和目标的IOU值，若IOU值大于等于0.7或者是最高值，则该框为positive；若IOU值小于等于0.3，则该框为negative。
输入图像——卷积层——池化层——全连接层——输出卷积层：核心，用来提取特征。 池化层：对特征降维。实际的主要作用是下采样，减少参数量来提高计算速度。 卷积神经网络的训练：前向传播（分类识别）、反向传播（求各层误差，更新权值）用来分类的卷积神经网络模型（经典）（1）AlexNet：5层卷积+最后连接3个全连接层。ReLU激活函数(收敛速度快，减少训练时间，避免梯度弥散)。Dropout机制(让某些神
转载
2023-10-10 09:35:34
114阅读
摘要基准数据集MNIST、CIOWE10和ImageNet几种方法进行广泛的比较来解决这个问题：过采样、欠采样、两相训练；以及补偿先前类概率的阈值。结论：（i）类不平衡对分类性能的影响是有害的； （ii）解决几乎所有分析场景中占主导地位的类不平衡的方法是过采样； （iii）应将过采样应用于完全消除不平衡的级别，然而，最优欠采样率取决于不平衡的程度； （iv）与一些经典的机器学习模型相反，过采样不会
转载
2023-09-25 18:57:25
129阅读
简介 本篇主要是对随机森林的笔记记录。 具体实现 基本原理就不做介绍了，网上很多资料。这里直接根据代码讲解下具体实现流程。 前提准备 这里用一个数据分类作为讲解，待分类的数据如下： 如上所示，最前面的‘+’、‘-’为数据分类标签，这里将数据分为 ‘+样本’和 ‘-样本’。
数据有两组，分别为训练集(2950个数据样本)和测试集(994个数据样本)，其中每个样本包
转载
2024-03-30 08:45:50
262阅读
在深度学习分类任务中，正负样本不平衡是一项常见且棘手的问题，尤其在诸如欺诈检测、疾病诊断等关键任务中，样本的比例失衡常常对模型的性能产生重大影响。正样本（我们关心的类别）通常数量稀少，而负样本数量极多。这种不平衡会导致分类器在训练时偏向大量的负样本，从而降低了其在正样本上的准确性。这篇博文将详细探讨如何解决深度学习分类任务中的正负样本不平衡问题，包括各个步骤的解析与实践经验。
### 业务影响
