DetectoRS论文阅读_神经网络

题目:用递归特征金字塔和可切换Atrous卷积检测对象

号称最强的目标检测网络:DetectoRS,拿下COCO实例分割并列第一(47.1%),COCO全景分割第一(49.6 AQ)
目前COCO 目标检测霸榜的前三:DetectoRS、ResNeSt和CBNet都主要在backbone上面花了很大功夫!

DetectoRS论文阅读_卷积_02

DetectoRS论文阅读_深度学习_03

looking and thinking twice(无论是两阶段还是级联检测器,都体现出信息的反复利用和提精)

DetectoRS论文阅读_权重_04

要讲HTC,首先,来介绍一下Cascade RCNN

DetectoRS论文阅读_卷积_05

接下来,来看HTC,HTC可以看作是在cascade R-CNN和mask R-CNN的基础上,作者想通过级联和来实现实例分割,进而找出一种最好的级联结构,来实现检测,提高mAP。

DetectoRS论文阅读_初始化_06

HTC的关键思想是:通过在每个阶段结合级联和多任务来改善信息流,并利用空间背景来进一步提高准确性。整个网络是多任务多阶段的混合级联结构,训练时每个 stage  box  mask 分支采用交替执行,并在不同 stage  mask 分支之间引入直接的信息流。

DetectoRS论文阅读_初始化_07

DetectoRS论文阅读_深度学习_08

DetectoRS论文阅读_神经网络_09

DetectoRS论文阅读_神经网络_10

DetectoRS论文阅读_卷积_11

这种递归特征金字塔网络有什么好处呢?很明显它能够使得目标检测的错误回传信息更直接的反馈调整主干网的参数

DetectoRS论文阅读_卷积_12

作者将主干网络ResNet中的每个3x3卷积层都转换为SAC,从而在不同的空洞率之间实现对卷积计算的软切换。
上图中的锁表示权重相同,只是训练的细节差异有所不同。两个全局上下文模块将图像级信息添加到特征中。

SAC的计算过程可以用最下面的式子来表示,其中x为输入,w为权重,r为空洞卷积的空洞率rate,这也是SAC的超参数。
Δw表示具有可训练的权重,并且switch切换函数S(·)由5x5的平均池化层和1x1卷积层组成,其与输入和位置相关。


SAC中锁定机制,通过将一个权重设置为w而另一个权重设置为w +Δw,其原因如下:目标检测器通常使用预训练的checkpoint(关卡,检查点)来初始化权重。
但是,对于从标准卷积层转换而来的SAC层,较大的空洞率rate的权重通常是缺失的。
由于可以通过相同的权重以不同的粗略度粗略地检测出不同比例的物体,因此用预训练模型中的权重来初始化丢失的权重是可以的。
本文使用w + ∆w表示从预训练checkpoint开始的缺失的权重,并使用0初始化∆wi。
当固定Δw= 0时,通过实验观察到AP下降了0.1%,但是没有锁定机制的∆w会使AP降低很多。


作者将主干网所有标准卷积替换为可切换的空洞卷积,而且为了更方便地从ImageNet预训练模型给主干网赋值,
作者发明了可兼容标准卷积的可切换空洞卷积,具体细节如通过SAC替换骨干网络ResNet中的所有3x3卷积层,
全局上下文模块中的权重和偏差用0初始化。switch函数中的权重用0初始化,偏置设置为1。Δw用0初始化。

DetectoRS论文阅读_神经网络_13

DetectoRS论文阅读_深度学习_14

DetectoRS论文阅读_卷积_15

DetectoRS论文阅读_深度学习_16

DetectoRS论文阅读_深度学习_17

DetectoRS论文阅读_神经网络_18

DetectoRS论文阅读_深度学习_19