目录

  • 参考链接：
  • 竞赛：
  • 数据集：
  • 数据增强：
  • trick:
  • 一、数据分析（EDA）
  • 1、分析图像的大小尺度
  • 2、目标标注框的大小、长宽比
  • 3、图像数量是否充分，延伸到类別均衡问题
  • 4、人眼观察图像是否有认为旋转，色彩对比度，裁剪等
  • 二、数据增强/数据处理（在线、离线）
  • 三、post process
  • 四、模型集成
  • 五、训练采样
  • 六、模型部分
  • 1、backbone
  • 2、neck
  • 3、activation
  • 4、DCN、CNN
  • 七、tricks
  • 1.EMA:指数移动平均
  • 2.iou-aware
  • 3.FPN、PAN、SPP
  • 4.DropBlock
  • 5.IOU Loss
  • 6.Matrix NMS、[soft nms]()
  • 7.warmup
  • 8.学习率衰减
  • 9.模型集成
  • 10.输出集成
  • 11. WBF（weighted box fusion加权框融合）
  • 12. focal loss解决正负样本不均衡，难易样本不均衡的问题
  • 13.SElayer
  • 14、TTA（test time augmention
  • 15、ATSS
  • 16、GC(global context)


一、数据分析（EDA）

1、分析图像的大小尺度

一般在图像长宽的0.75到1.25

2、目标标注框的大小、长宽比

3、图像数量是否充分，延伸到类別均衡问题

4、人眼观察图像是否有认为旋转，色彩对比度，裁剪等

二、数据增强/数据处理（在线、离线）

像素（scale几何（翻转、对折、平移）)、图像区域（隨即擦除、cutout、 grid mask、hide and seek)、融合（馬賽克、cutmix)、光照色彩(亮度、對比度）這几類調整
翻转旋转
偏色校准
亮色、色度、对比度
模糊平滑算子
去雾
mixup、cutout、cutmix
引入更多数据

三、post process

nms以及nms的变体（soft_nms、DIOU_nms、CIOU_nms、merge nms(weighted nms)、culster nms、fast nms)
WBF(替代nms、TTA、模型融合）

四、模型集成

直接nms
加权nms
soft nms
matrix nms
wbf与vote

五、训练采样

基于数据分布即domain采样
OHEM

六、模型部分

1、backbone

主要的有：resnet和swin transformer
efficientnet(NAS得到的）、unet(分割）、segnet、NFNet、SeNet、shufflenet(轻量级）

2、neck

FPN、BIFPN、PAN、NAS、SFAN、ASFF

3、activation

Tanh、Mish、relu、leaky-relu、swish、sigmoid

4、DCN、CNN

七、tricks

1.EMA:指数移动平均

目标检测中anchor是做什么的 目标检测trick_目标跟踪


在深度学习的优化过程中， 目标检测中anchor是做什么的 目标检测trick_目标检测_02是t时刻的模型权重weights，目标检测中anchor是做什么的 目标检测trick_计算机视觉_03是t时刻的影子权重（shadow weights）。在梯度下降的过程中，会一直维护着这个影子权重，但是这个影子权重并不会参与训练。基本的假设是，模型权重在最后的n步内，会在实际的最优点处抖动，所以我们取最后n步的平均，能使得模型更加的鲁棒。

2.iou-aware

预测目标候选框和真实目标框之间的iou。

以前的目标检测模型用分类置信度来进行NMS和ap的计算，这就有可能导致：

1.NMS时，只能使用分类置信度来进行anchor排序，导致高IOU但低分类分数的anchor被过滤。

2.计算AP时，依然是使用分类置信度进行排序计算的，高分类置信度但低IOU的anchor会降低高IOU阈值时的AP。

作者将分类分数和预测得到的IoU相乘，这个指标既反应了是不是这个目标，又反应了该位置和真实目标的可能的交并比，认为它是更加精确的检测置信度：

目标检测中anchor是做什么的 目标检测trick_目标检测中anchor是做什么的_04


公式中参数 α 用于控制两者的贡献大小。

3.FPN、PAN、SPP

4.DropBlock

比较于dropout正则化

5.IOU Loss

CE、MSE=l2 loss、MAE=l1 loss改进到smooth loss、IOU LOSS
focal loss:相比较于CE，解决one-stage 目标检测中的正负样本比例严重失衡的问题和相比较于复杂样本减少简单样本的影响。

6.Matrix NMS、soft nms

7.warmup

Constant Warmup、Linner Warmup、Cosine Warmup

8.学习率衰减

余弦退火学习率衰减

9.模型集成

10.输出集成

11. WBF（weighted box fusion加权框融合）

集成多模型（同模型不同训练权重、同模型同权重同一图片TTA）的预测结果，将每个模型的结果进行加权平均。

12. focal loss解决正负样本不均衡，难易样本不均衡的问题

13.SElayer

14、TTA（test time augmention

数据增强通常在训练阶段进行，目前一些文献在测试时进行数据增强，在分割、分类、检测等场景都取得了不错的效果。
测试时增强，指的是在推理（预测）阶段，将原始图片进行水平翻转、垂直翻转、对角线翻转、旋转角度等数据增强操作，得到多张图，分别进行推理，再对多个结果进行综合分析，得到最终输出结果。

15、ATSS

16、GC(global context)