在objects detection算法中,大概可以分为两大方向

一、Two-Stage,这是一种Proposal-based的方法,需要先使用启发式方法(selective search)或者CNN网络(RPN)产生Region Proposal,然后再在Region Proposal上做分类与回归。精度高,但是速度慢。

  1. R-CNN
  2. Fast R-CNN
  3. Faster R-CNN
  4. Mask R-CNN

二、One-Stage,这是一种Proposal-free的方法,不需要先计算Proposal,直接使用一个CNN网络预测不同目标的类别与位置。速度快,但是精度低。

  1. YOLO系列
  2. SSD
  3. RetinaNet

faster rcnn python代码 faster rcnn onestage_sed

faster-rcnn网络结构

对于RPN loss与faster-rcnn loss我们这里只讲解其中的回归损失,即bounding box regression原理:

RPN中的bounding box regression(第一阶段)

如下图所示绿色框为飞机的Ground Truth(GT),红色为提取的positive anchors,即便红色的框被分类器识别为飞机,但是由于红色的框定位不准,这张图相当于没有正确的检测出飞机。所以我们希望采用一种方法对红色的框进行微调,使得positive anchors和GT更加接近。

faster rcnn python代码 faster rcnn onestage_线性回归_02

对于窗口一般使用四维向量(x,y,w,h)表示,分别表示窗口的中心点坐标和宽高。如下图所示,红色的框A代表原始的positive Anchors,绿色的框G代表目标的GT,我们的目标是寻找一种关系,使得输入原始的anchor A经过映射得到一个跟真实窗口G更接近的回归窗口G',即:

  • 给定anchor  和
  • 寻找一种变换F,使得:,其中

faster rcnn python代码 faster rcnn onestage_建模_03

那么经过何种变换F才能从图中的anchor A变为G'呢? 比较简单的思路就是:

  • 先做平移

                                                                               

faster rcnn python代码 faster rcnn onestage_线性回归_04

                                                                               

faster rcnn python代码 faster rcnn onestage_建模_05

  • 再做缩放

                                                                               

faster rcnn python代码 faster rcnn onestage_线性回归_06

                                                                               

faster rcnn python代码 faster rcnn onestage_sed_07

观察上面4个公式发现,需要学习的是

faster rcnn python代码 faster rcnn onestage_sed_08

这四个变换。当输入的anchor A与GT相差较小时,可以认为这种变换是一种线性变换, 那么就可以用线性回归来建模对窗口进行微调(注意,只有当anchors A和GT比较接近时,才能使用线性回归模型,否则就是复杂的非线性问题了)。我们记

faster rcnn python代码 faster rcnn onestage_线性回归_09

positive anchor与ground truth之间的平移量

faster rcnn python代码 faster rcnn onestage_线性回归_10

与尺度因子

faster rcnn python代码 faster rcnn onestage_sed_11

如下:                                                                      

faster rcnn python代码 faster rcnn onestage_建模_12

             

faster rcnn python代码 faster rcnn onestage_sed_13

                                                                      

faster rcnn python代码 faster rcnn onestage_线性回归_14

                  

faster rcnn python代码 faster rcnn onestage_线性回归_15

我们记

faster rcnn python代码 faster rcnn onestage_线性回归_16

综上所述:positive anchor与预测框(G')的位置变换信息为

faster rcnn python代码 faster rcnn onestage_建模_17

。positive anchor与目标框(G)的位置变换信息为

faster rcnn python代码 faster rcnn onestage_建模_18

  。RPN网络的回归损失即为

faster rcnn python代码 faster rcnn onestage_建模_17

faster rcnn python代码 faster rcnn onestage_建模_18

两个变量之间的差距(通过smooth L1 loss函数衡量),通过训练来不断缩小两个变量之间的差距,进而缩小预测框与目标框之间的差距,从而得到第一阶段的结果:RPN网络的预测框proposal。

Faster-rcnn中的bounding box regression(第二阶段)

faster-rcnn 中的回归损失计算方式与上述的RPN回归损失计算方式基本相同。不同点在于faster-rcnn使用的不是anchor,而是RPN网络输出的proposal经过Roi pooling的结果,我们称其为roi。

综上所述:roi与预测框(G'')的位置变换信息为

faster rcnn python代码 faster rcnn onestage_建模_17

。roi与目标框(G)的位置变换信息为

faster rcnn python代码 faster rcnn onestage_建模_18

  。faster-rcnn网络的回归损失即为

faster rcnn python代码 faster rcnn onestage_建模_17

faster rcnn python代码 faster rcnn onestage_建模_18

两个变量之间的差距(通过smooth L1 loss函数衡量),通过训练来不断缩小两个变量之间的差距,进而缩小预测框与目标框之间的差距,从而得到第二阶段的结果:faster-rcnn网络的预测框,即最终的检测结果。

 

参考文章:https://zhuanlan.zhihu.com/p/69250914?utm_source=wechat_session&utm_medium=social&utm_oi=845564882609922048

https://zhuanlan.zhihu.com/p/31426458