作者丨周威@知乎
编辑丨3D视觉工坊
1 前言
本文要解析的模型叫做PointPillars，是2019年出自工业界的一篇Paper。
该模型最主要的特点是检测速度和精度的平衡。该模型的平均检测速度达到了62Hz，最快速度达到了105Hz，确实遥遥领先了其他的模型。这里我们引入CIA-SSD模型中的精度-速度图，具体对比如下所示。
图1 精度-速度图
可以看出，截止CIA-SSD论文发表前，PointPillars的检测速度都是遥遥领先的，而且精度也不低。
现有的一些研究喜欢将不规则、稀疏的点云数据按照以下两种方式进行处理，然后引入RPN层进行3D Bbox Proposal，这两种方法为：
（1）将点云数据划纳入一个个体素（Voxel）中，构成规则的、密集分布的体素集。常见的有VoxelNet和SECOND，这在之前的文章中已经解析过了；
（2）从俯视角度将点云数据进行处理，获得一个个伪图片的数据。常见的模型有MV3D和AVOD，这也说过了。
本文采用了一种不同于上述两种思路的点云建模方法。从模型的名称PointPillars可以看出，该方法将Point转化成一个个的Pillar（柱体），从而构成了伪图片的数据。
然后对伪图片数据进行BBox Proposal就很简单了，作者采用了SSD的网络结构进行了Proposal。
本文的论文地址为：
https://arxiv.org/abs/1812.05784
代码地址为:
https://github.com/SmallMunich/nutonomy_pointpillars
2 数据处理和网络结构
前面说到本文的一大亮点是将点云划分为一个个的Pillar，从而构成了伪图片的数据。
如何构成这个伪图片呢？作者在论文中是给出了这样的图，如下。
具体实现步骤如下：
按照点云数据所在的X，Y轴（不考虑Z轴）将点云数据划分为一个个的网格，凡是落入到一个网格的点云数据被视为其处在一个pillar里，或者理解为它们构成了一个Pillar。
每个点云用一个 
维的向量表示，分别为 
。其中 
为该点云的真实坐标信息（三维）和反射强度； 
为该点云所处Pillar中所有点的几何中心； 
为 
, 
相对位置。
假设每个样本中有 
个非空的pillars，每个pillar中有 
个点云数据，那么这个样本就可以用一个 
张量表示。
那么可能就有人问了，怎么保证每个pillar中有 
个点云数据呢？
如果每个pillar中的点云数据数据超过 个，那么我们就随机采样至 个；如果每个pillar中的点云数据数据少于 个，少于的部分我们就填充为0；
这样的话，作者很容易就实现了点云数据的张量化，具体过程如下。
实现张量化后，作者利用简化版本的PointNet对张量化的点云数据进行处理和特征提取。
特征提取可以理解为对点云的维度进行处理，原来的点云维度为 
,处理后的维度为 
,那么我们就获得了一个 
的张量。
接着，我们按照Pillar所在维度进行Max Pooling操作，即获得了 
维度的特征图。
为了获得伪图片特征，作者将 
转化为 
，即 
。那么我们就获得了形如 
的伪图片了。具体过程如下：
至此，有关PointPillars中的点云数据的伪图片化就结束了。接下来我们简单聊聊PointPillars的网络结构，具体如下：
伪图片作者2D CNN的输入，用来进一步提取图片特征。
从图中可以看出，该2D CNN采用了两个网络。其中一个网络不断缩小特征图的分辨率，同时提升特征图的维度，因此获得了三个不同分辨率的特征图。
另一个网络对三个特征图进行上采样至相同大小，然后进行concatenation。
之所以选择这样架构，是因为不同分辨率的特征图负责不同大小物体的检测。比如分辨率大的特征图往往感受野较小，适合捕捉小物体（在KITTI中就是行人）。
至此，PointPillars的网络结构就讲解完毕了，很简单有木有？
3 损失函数
PointPillars的损失函数也是一样的简单哈。作者采用了SECOND中类似的损失函数，每个3D BBox用一个7维的向量表示，分别为 。
其中 为中心， 为尺寸数据， 为方向角。
那么检测框回归任务中要学习的参数为这7个变量的偏移量：
作者采用了 Smooth L1损失函数进行训练
和SECOND中相同，为了避免方向判别错误，作者引入了个Softmax损失学习物体的方向。该损失记做 
。
有关分类损失，作者仍然采用了Focal Loss，定义如下：
总函数定义如下：
至此，有关PointPillars的初步解析就完成了。
4 总结
PointPillars是一款能够平衡检测速度和检测精度的3D检测模型。最近我也正在看这个模型的代码，上手玩玩这个模型，希望最后的结果能够惊艳到我（微笑）。如果文章解析部分有理解不到位的地方，欢迎各位批评指正！
本文仅做学术分享，如有侵权，请联系删文。
