目录
概述
一个具体的例子
原因分析
影响分析
总结建议
概述
在进行SSD、YOLO等目标检测类模型训练的时候,为了提升模型的识别率和泛化能力,一般会采用数据增强策略,主要包括调整图片的亮度、对比度、水平翻转、平移、旋转、随机噪声等方式。而在目标检测任务中,若采用旋转数据增强,可能导致旋转后的标注框不再能准确地表示目标的最小外接矩形框,因此要慎用。
一个具体的例子
假设原图如下:
红色三角形为要标注的物体,黑色的为标注矩形框。
对图片绕中心点进行顺时针旋转45度,旋转后的图片如下:
我们可以计算出旋转后的黑色矩形框四个点坐标,取旋转后矩形框的最小外接矩形,就是变换后的标注框,如下图蓝色矩形框所示。
但是,现在目标的实际标注框应该为橘色(如上图所示),这两者并不等价!!!
原因分析
为什么会出现这种情况呢?
因为目标检测的标注框只是一个矩形框(一般是待检测目标的最小外接矩形),根据标注框,我们并不知道目标的明确边界(对比语义分割,明确知道边界)。
影响分析
目标检测的数据标注时,应该尽量采用统一的标注标准,比如要标注一个人,如果一些数据是标注人的最小外接矩形,另一些数据标注的框总是会标注大一些,可能就会导致模型不收敛、损失到一定值就降不下去或者损失下降的慢。
上边举得例子是检测目标在图片中心,且在图片中占比很大的情况。实际上假如目标较小,并且不在图片中心,或者检测目标本身就充满了标注框等情况,旋转的影响也会相应降低。
总结建议
1、目标检测任务,若采用旋转数据增强时,不宜旋转过大的角度(旋转角度小时误差小)。
2、可以先旋转图片后,手工调整标注框,再进行训练。
3、采用语义分割的检测方式,不影响旋转的方式进行数据增强。