bag of freebies:在训练阶段使用的trick,不影响测试效率

1.数据增强

pixel-wise:

1)photometric distortions:调节亮度,对比度,饱和度,色调,增加噪声等

2)geometric distortions:缩放,裁剪,翻转,旋转

模仿目标遮挡情况:

1)随机擦除【1】:给像素赋随机值或者[125.0, 122.0, 114.0](平均值即ImageNet mean pixel value)

目标检测 跨模态 目标检测trick_目标检测 跨模态

2)cutout:随机将一个矩形区域内像素值设为0,与随机擦除类似

3)grid mask: 随机选择几个矩形区域,置0

目标检测 跨模态 目标检测trick_类方法_02

4)在特征图中操作:DropOut , DropConnect 

目标检测 跨模态 目标检测trick_目标检测 跨模态_03

5)DropBlock:

目标检测 跨模态 目标检测trick_类方法_04

Scheduled DropBlock: 作者发现在训练期间固定keep_prob,训练效果不好。线性减小keep_prob的值从1到目标值,结果更加鲁棒。

多图融合:

1)MixUp:用不同的权重将两张图片加权求和,需要根据比例调整标签(具体调整方法待查看)

2)CutMix: 裁剪图像的一个区域,覆盖到另一个图像上,同样需要调整标签(待查看)

3)GAN

2.数据集中语义分布不均衡(类别不平衡):

1)hard-example mining:适用于two-stage方法,但是不适用于one-stage方法?

2)focal loss: 训练时自适应调整样本损失率,降低识别正确率高的样本损失的权重

3)label-smooth: 尤其在softmax激活后,可显著避免过拟合,避免网络过度自信

3.BoundingBox Regression

传统方式:均方误差拟合中心坐标+宽高或左上角坐标+右下角坐标,这类方法单独考虑各个参数,而不是完整的box

IOU loss=1-IOU:适应尺度变化(L1,L2损失会随着尺寸增加而增加),缺陷:仅当有交集时才有作用

Generalized IOU loss: 在IOU的基础上,包含的形状和方向的损失。找到同时包围 预测Box和Groud trouth Box的最小包围矩形框,具体损失如下公式,C为最小包围矩形面积,即使没有交集,该损失也起作用,避免了没交集时IOU损失的梯度消失

目标检测 跨模态 目标检测trick_深度学习_05

Distance IOU loss: 考虑目标中心点的距离,b表示中心点,p()表示欧氏距离,c表示两个box最小包围矩形的对角线长度

目标检测 跨模态 目标检测trick_权重_06

Complete IOU loss: 同时考虑重叠区域,中心点距离,和长宽比。速度和准确性都较高,也可以作为NMS的评判标准

目标检测 跨模态 目标检测trick_类方法_07

目标检测 跨模态 目标检测trick_权重_08

目标检测 跨模态 目标检测trick_类方法_09

参数a可以使IOU在回归过程中具备更高的优先级, IOU越大v的权重越大,IOU越小,v的权重越小

在对v求梯度时,h,w是【0,1】的数,梯度的分母会很小,容易引起梯度爆炸,实际应用过程中,忽略分母部分

目标检测 跨模态 目标检测trick_权重_10

 

参考文献

【1】Zhun Zhong, Liang Zheng, Guoliang Kang, Shaozi Li,and Yi Yang. Random erasing data augmentation. arXiv preprint arXiv:1708.04896, 2017

【2】Pengguang Chen. GridMask data augmentation. arXiv
preprint arXiv:2001.04086, 2020

【3】Golnaz Ghiasi, Tsung-Yi Lin, and Quoc V Le. DropBlock:A regularization method for convolutional networks. In Advances
in Neural Information Processing Systems (NIPS),pages 10727–10737, 2018

【4】https://github.com/AlexeyAB/darknet.