深度学习准确度不变 深度校正_深度学习准确度不变

作者丨Edison_G

在过去的十年里,在目标检测方面取得了重大进展,这些目标通常以大规模变化和任意方向分布。然而,现有的大多数方法依赖于具有不同尺度、角度和长宽比的启发式定义anchor,通常在anchor boxes和axis-aligned的卷积特征之间存在严重的不对准,这导致分类分数和定位精度之间存在的共同不一致。

深度学习准确度不变 深度校正_算法_02

深度学习准确度不变 深度校正_卷积_03

一、简要

为了解决这个问题,有研究者提出了一个Single-shot Alignment Network(S2A-Net),由两个模块组成:一个特征对齐模块(FAM)和一个定向检测模块(ODM)。FAM可以通过anchor优化网络生成高质量的anchor,并根据anchor boxes与新提出的对齐卷积来自适应对齐卷积特征。ODM首先采用主动active rotating filters对方向信息进行编码,然后产生方向敏感和方向不变的特征,以缓解分类分数与定位精度之间的不一致性。此外,研究者还进一步探索了在大尺寸图像中检测物体的方法,从而在速度和精度之间进行了更好的权衡。

大量的实验表明,新提出的方法可以在两个常用的数据集(DOTA和HRSC2016)上达到最先进的性能,同时保持高效率!

二、背景

与基于R-CNN的探测器相比,one-stage探测器回归边界框,并直接用常规和密集的采样anchor对它们进行分类。这种架构具有很高的计算效率,但在精度上往往落后于[G.-S. Xia, X. Bai, J. Ding, Z. Zhu, S. Belongie, J. Luo, M. Datcu, M. Pelillo, and L. Zhang, “DOTA: A large-scale dataset for object detection in aerial images,” in CVPR, 2018]。如下图所示,认为one-stage探测器出现严重错位。

深度学习准确度不变 深度校正_计算机视觉_04

  • 启发式定义的anchor质量低,不能覆盖目标,导致目标和anchor之间的错位。例如,桥的展宽比通常在1/3到1/30之间,只有少数anchor甚至没有anchor可以校准。这种错位通常加剧前景背景类的不平衡,阻碍性能。
  • 主干网络的卷积特征通常与固定的接受场进行轴对齐,而航空图像中的目标则以任意的方向和不同的外观进行分布。即使是anchor boxes被分配给具有高可信度的实例(即IoU),anchor boxes与卷积特征之间仍然存在错位。换句话说,anchor boxes的相应特征在某种程度上难以表示整个目标。结果,最终的分类分数不能准确地反映定位精度,这也阻碍了后处理阶段的检测性能(如NMS)。

相同设置下不同方法的性能比较

深度学习准确度不变 深度校正_计算机视觉_05

三、新框架分析

深度学习准确度不变 深度校正_算法_06

  • RetinaNet as Baseline

深度学习准确度不变 深度校正_卷积_07

注意,RetinaNet设计用于通用目标检测,输出水平边界框(如下图(a))表示为:

深度学习准确度不变 深度校正_计算机视觉_08

深度学习准确度不变 深度校正_算法_09

为了与面向目标检测相兼容,研究者将定向边界框代替RetinaNet的回归输出。如上图(b),表示为:

深度学习准确度不变 深度校正_深度学习准确度不变_10

其实就是增加了一个角度参数,角度θ范围[-π/4,3π/4]。

  • Alignment Convolution

直接上图,看图说话。

深度学习准确度不变 深度校正_算法_11

如图所示。通过规则网格在特征图上的标准卷积样本。DeformConv学习一个偏移场来增加空间采样位置。然而,它可能会在错误的地方采样,特别是对于包装密集的物体。研究者提出的AlignConv通过添加一个额外的偏移字段的anchor boxes引导来提取网格分布的特征。与DeformConv不同,AlignConv中的偏移字段是直接从anchor boxes推断出来的。上图中的例子。(c)和(d)说明了AlignConv可以在anchor boxes中提取准确的特征。

(a)是标准的常规采样位置二维卷积(绿点)。(b)为Deformable Convolution,具有可变形采样位置(蓝点)。(c)和(d)是研究者提出的具有水平和旋转anchor boxes(AB)的两个例子(橙色矩形),蓝色箭头表示偏移字段。

  • Feature Alignment Module (FAM)

深度学习准确度不变 深度校正_计算机视觉_12

采用输入特征和anchor预测。映射为输入,并生成对齐的特征。

  • Oriented Detection Module (ODM)

深度学习准确度不变 深度校正_深度学习准确度不变_13

ODM以缓解分类分数和定位精度之间的不一致性,然后进行精确的目标检测。

四、实验及可视化

不同的RETINANET在DOTA数据集上的结果

深度学习准确度不变 深度校正_机器学习_14

深度学习准确度不变 深度校正_计算机视觉_15

深度学习准确度不变 深度校正_卷积_16

深度学习准确度不变 深度校正_机器学习_17

研究者将一个大尺寸的图像裁剪成1024×1024chip图像,步长为824。将大尺寸图像和chip图像输入相同网络,以不调整大小即可产生检测结果(例如红框中的飞机)。

深度学习准确度不变 深度校正_算法_18

不同的方法在DOTA数据集上的结果

深度学习准确度不变 深度校正_深度学习准确度不变_19

在HRSC2016数据上的测试结果

上图的检测结果,在军事或者码头都有前景的研究,码头可以减少人工调度的工作,军事就可以更加准确的进行攻击及反击。如之前贡献的一个技术:

计算机视觉来看看苏伊士运河堵船(船舶检测)

深度学习准确度不变 深度校正_深度学习准确度不变_20