cylinder 目标检测 目标检测centernet

CenterNet

论文：Objects as Points

地址：https://paperswithcode.com/paper/objects-as-points

基本思想

  目标检测一般将图像中物体识别为一个平行坐标轴的框，目前多数的检测器都几乎穷举了图像中所有可能的目标位置然后对其进行分类，这种方式非常低效而且需要额外的后处理。论文提出的检测方法CenterNet则将目标视为单个的点——边界框的中心点，该检测器使用关键点估计来确定中心点，然后回归所有其他的属性，比如尺寸，3D位置，角度甚至是姿态，CenterNet是一个端到端，全程可微，高校简单又准确的检测器，不仅再2d目标检测上表现较好，也可用于3d检测以及人体姿态估计。

  CenterNet将目标检测问题转换为一个标准的关键点估计问题，首先将图像喂给一个全卷积网络产生热点图，图上的峰值点对应目标的中心，每个峰值点附近的图像特征来预测目标的宽高，模型训练的方法使用的是标准的密集任务有监督学习，推断则是完全端到端没有nms后处理的方法。

  CenterNet与基于Anchor的一阶段检测器类似，一个中心点可以被视为一个形状位置的Anchor，不同的是：

• CenterNet确定“anchor”只与位置相关，与框的重叠度无关；
• 每个目标只有一个正“anchor”因此不需要NMS；
• CenterNet输出的分辨率较大OS=4.

形式化

$I\in R^{W\times H\times 3}$表示宽高分别为$W,H$的输入图像，目标是预测一个关键点热力图$\hat Y \in [0,1]^{\frac{W}{R}\times \frac{H}{R}\times C}$，其中$R$表征输出的特征图尺寸，$C$表示关键点类型的数量（或者目标检测中的目标类别数），论文中$R=4$。在热力图中$\hat Y_{x,y,c}=1$对应一个被检测到的关键点，$\hat Y_{x,y,c}=0$表示背景。

训练目标

2D目标检测

$c$的GT关键点$p\in R^2$，模型都会计算一个低分辨率的替换值$\tilde p=\lfloor \frac{p}{R}\rfloor$，然后使用一个高斯核函数$Y_{xyc}=exp\left(-\frac{(x-\hat p_x)^2+(y-\hat p_y)^2}{2\sigma_p^2}\right)$将所有的GT关键点赋予到一幅热力图$Y\in [0,1]^{\frac{W}{R}\times \frac{H}{R}\times C}$，如果同一类别的两个高斯生成点重叠，则以较大值为准，训练的目标损失函数如下：

$L_k=\frac{-1}{N}\Sigma_{xyc} \begin{cases} (1-\hat Y_{xyc})^{\alpha}log(\hat Y_{xyc})&if\ \ Y_{xyc=1} \\ (1-Y_{xyc})^{\beta}(\hat Y_{xyc})^{\alpha}log(1-\hat Y_{xyc})&otherwise \end{cases}$

$\alpha,\beta$是focal loss的超参数，论文中$\alpha=2,\beta=4$，$N$表示图像$I$中关键点的数量，除以$N$是为了对所有的正损失归一化。

$\hat O \in R^{\frac{W}{R}\times \frac{H}{R}\times 2}$，所有的类别$c$共享同一个偏移与测量，这里使用如下所示L1损失函数：

$L_{off}=\frac{1}{N}\Sigma_p\left| \hat O_{\hat p}-\left(\frac{p}{R}-\hat p\right)\right|$

$\hat p$起作用。

$(x_1^{(k)},y_1^{(k)},x_2^{(k)},y_2^{(k)})$表示目标类别为$c_k$的目标$k$的边界框，其中心点$p_k=(\frac{x_1^{(k)}+x_2^{(k)}}{2},\frac{y_1^{(k)}+y_2^{(k)}}{2})$，使用关键点估计$\hat Y$来预测所有的中心点，另外，为每个目标$k$进行尺寸$s_k=(x_2^{(k)}-x_1^{(k)},y_2^{(k)}-x_1^{(k)})$的回归，使用L1损失来指导训练：

$L_{size}=\frac{1}{N}\Sigma^N_{k=1}\left|\hat S _{p_k}-s_k\right|$

$\lambda_{size}=0.1,\lambda_{off}=1$：

$L_{det}=L_k+\lambda_{size}L_{size}+\lambda_{off}L_{off}$

$C+4$个模型输出。

$\hat P_c$表示$n$个被检测到的类别为$c$的中心点$\hat P=\{(\hat x_i,\hat y_i)\}_{i=1}^n$的集合，每个关键点的位置坐标由$(x_i,y_i)$给出，使用关键点的值$\hat Y_{x_iy_ic}$作为检测的置信度然后在该位置产生一个边界框：

$(\hat x_i+\delta \hat x_i-\hat \omega_i/2,\ \ \hat y_i+\delta\hat y_i-\hat h_i/2,\\ \hat x_i+\delta \hat x_i+\hat \omega_i/2,\ \ \hat y_i+\delta\hat y_i+\hat h_i/2)$

$(\delta \hat x_i,\delta \hat y_i)=\hat O_{\hat x_i,\hat y_i}$是偏移预测量，$(\hat \omega_i,\hat h_i)=\hat S_{\hat x_i,\hat y_i}$是尺寸与测量，其中峰值点提取可以使用一个$3 \times 3$最大池化，不再需要NMS后处理。

单目3D目标检测

$d$对于每个中心点来说是一个单独的所放量，但是深度比较难以直接回归，论文使用将深度作为一个额外的输出通道$\hat D \in [0,1]^{\frac{W}{R}\times \frac{H}{R}}$来计算，这里也使用L1损失，其中$d_k$是GT绝对深度，具体地：

$L_{dep}=\frac{1}{N}\Sigma_{k=1}^N|\frac{1}{\sigma(\hat d_k)}-1-d_k|$

$\hat \Gamma \in R^{\frac{W}{R}\times \frac{H}{R}\times 3}$和L1损失来进行回归，其中$\gamma_k$表示目标的GT长宽高，具体地：

$L_dim=\frac1{N}\Sigma_{k=1}^N|\hat \gamma_k-\gamma_k|$

$B_1=[-\frac{7\pi}{6},\frac{\pi}6]$范围内，另一个bin则对应角度在$B_2=[-\frac{\pi}{6},\frac{7\pi}6]$。对于每个bin，其中两个参数$b_i\in R^2$用于softmax分类（如果朝向叫落在这个bin），另外两个参数$a_i\in R^2$用于预测bin内的正弦与余弦偏移（相对于bin中心$m_i$），令GT朝向角$\hat \alpha=[\hat b_1,\hat a_1,\hat b_2,\hat a_2]$，L1损失具体为：

$L_{ori}=\frac1{N}\sum_{k=1}^N\sum_{i=1}^2(softmax(\hat b_i,c_i)+c_i|\hat a_i-a_i|)$

$\theta\in B_i$时$c_i=1$，其余$c_i=0$，$a_i=(sin(\theta-m_i),cos(\theta-m_i))$，最终预测的$\theta$通过8个参数来编码，其中$j$表示bin的索引：

$\hat \theta=arctan2(\hat a_{j1},\hat a_{j2}+m_j)$

人体姿态估计

$k$个2D人体连接点，考虑对于每个中心点姿态为$k\times 2$维属性，然后将其参数化为对于中心点的一个偏移，从而直接使用L1损失回归连接点$\hat J\in R^{\frac{W}{R}\times \frac{H}{R}\times k \times2}$。为了更好的输出关键点，论文还会使用一个标准的自底向上的多人体姿态估计来预测$k$个人体关键点热力图$\hat\Phi\in R^{\frac{W}{R}\times \frac{H}{R}\times k}$。

结论

  总的来说，论文提出的方法不需要后处理，易于扩展可丝滑应用于多种视觉任务，效率高精度好，实现了较好的速度精度均衡。