目录

概述

一个具体的例子

原因分析

影响分析

总结建议


概述

在进行SSD、YOLO等目标检测类模型训练的时候,为了提升模型的识别率和泛化能力,一般会采用数据增强策略,主要包括调整图片的亮度、对比度、水平翻转、平移、旋转、随机噪声等方式。而在目标检测任务中,若采用旋转数据增强,可能导致旋转后的标注框不再能准确地表示目标的最小外接矩形框,因此要慎用。

一个具体的例子

假设原图如下:

红色三角形为要标注的物体,黑色的为标注矩形框。

目标检测数据集水平翻转 目标检测 旋转_数据

对图片绕中心点进行顺时针旋转45度,旋转后的图片如下:

目标检测数据集水平翻转 目标检测 旋转_目标检测_02

我们可以计算出旋转后的黑色矩形框四个点坐标,取旋转后矩形框的最小外接矩形,就是变换后的标注框,如下图蓝色矩形框所示。

目标检测数据集水平翻转 目标检测 旋转_目标检测数据集水平翻转_03

但是,现在目标的实际标注框应该为橘色(如上图所示),这两者并不等价!!!

原因分析

为什么会出现这种情况呢?

因为目标检测的标注框只是一个矩形框(一般是待检测目标的最小外接矩形),根据标注框,我们并不知道目标的明确边界(对比语义分割,明确知道边界)。




目标检测数据集水平翻转 目标检测 旋转_人工智能_04


影响分析

目标检测的数据标注时,应该尽量采用统一的标注标准,比如要标注一个人,如果一些数据是标注人的最小外接矩形,另一些数据标注的框总是会标注大一些,可能就会导致模型不收敛、损失到一定值就降不下去或者损失下降的慢。

上边举得例子是检测目标在图片中心,且在图片中占比很大的情况。实际上假如目标较小,并且不在图片中心,或者检测目标本身就充满了标注框等情况,旋转的影响也会相应降低。

总结建议

1、目标检测任务,若采用旋转数据增强时,不宜旋转过大的角度(旋转角度小时误差小)。

2、可以先旋转图片后,手工调整标注框,再进行训练。

3、采用语义分割的检测方式,不影响旋转的方式进行数据增强。