作者丨黄浴
编辑丨3D视觉工坊
arXiv2021.7.26上传的ICCV‘21录取论文 “HRegNet: A Hierarchical Network for Large-scale Outdoor LiDAR Point Cloud Registration“，作者来自同济大学、慕尼黑工大和瑞士苏黎世ETH等。
点云校准是 3D 计算机视觉的一个基本问题。室外激光雷达点云通常规模大且分布复杂，这使得校准具有挑战性。本文提出了 HRegNet 的分层网络，用于大规模室外激光雷达点云校准。
HRegNet 不用点云的所有点进行校准，而是针对分层提取的关键点和描述子。整体框架结合了较深层的可靠特征和较浅层的精确位置信息，实现鲁棒和精确的配准。其中一个对应网络（correspondence network）来生成正确和准确的关键点对应关系。此外，在关键点匹配中引入bilateral consensus和neighborhood consensus，设计相似性特征合并到对应网络中，提高了校准性能。
代码网址为https://github.com/ispc-lab/HRegNet。
如图所示是HRegNet的结构图：点云 P 分层下采样得到关键点 X 和描述子D 的小集合。在底层进行粗校准利用关键点匹配的可靠特征，然后利用上层的精确位置信息细校准修正该变换。
备注：感谢微信公众号「3D视觉工坊」整理。
如图所示介绍两个重要概念：bilateral consensus和neighborhood consensus。
bilateral consensus如图（a）所示，一对对应的关键点应该是双方描述子空间中彼此最近的邻居。neighborhood consensus如图（b）所示，两个对应关键点的相邻关键点也应该具有很高的相似度。为了有效地整合到基于学习的校准流水线中，基于描述子的双向相似性和基于注意的邻域编码模块（attention-based neighbor encoding module），作者设计了相似性特征，这显着提高了校准性能。
每个特征提取模块的输入是关键点（或原始点云）、saliency uncertainties,、描述子以及前一层关键点的特征。首先采用Weighted Farthest Point Sampling（WFPS）选择一组候选关键点。之后，执行 k-NN搜索构建以候选关键点为中心的集群，并遵循Shared Multi-layer Perceptron (Shared-MLP) 预测集群中每个相邻点的注意权重（attentive weight），细化候选关键点的位置。saliency uncertainties,也可以对集群采用另一个Shared-MLP来预测。此外，描述子网络旨在为每个关键点提取描述子。
在提取出关键点和描述子之后，接下来是如何找到源（source）关键点和目标（target）关键点之间的正确对应关系。本文采用基于学习的对应网络匹配底层的两组关键点进行粗校准。
如图所示是对应网络做粗校准：
对源关键点，在描述子空间中执行 k-NN搜索，找到 K 个候选对应关键点。K 个相邻候选关键点和中心关键点形成一个集群，其特征由三部分组成：几何特征、描述子特征和相似性特征。相邻关键点和中心关键点之间的相对坐标和距离被算为附加几何特征。另外，关键点的saliency uncertainties不确定性也包含其中。
给定对应关键点和可信度分数，最优变换的计算如下：
相似特征用来带入bilateral consensus，如图是相似矩阵的示意图：
其中相似矩阵的计算如下：
在两个方向做归一化得到两个相似矩阵
另外上面图中也看出来，为引入neighborhood consensus，提出基于注意的邻域编码模块搜集邻域关键点信息得到邻域-觉察描述子。
细校准在最上层实现，降低关键点稀疏带来的误差。
实验结果：
基准方法包括传统方法如PICP、P2Plane ICP、RANSAC 和 Fast Global Registration (FGR) ，基于学习方法如Deep Closest Point (DCP)、IDAM、Feature-metric Registration (FMR)和Deep Global Registration (DGR)。
定性结果例子。如图第一行显示粗校准中源和目标关键点之间的对应关系，置信度分数 > 0:005；第二行显示置信度分数 > 0:0005 的对应关系。绿线和红线分别代表对应的内点和出格点；底行显示对齐的两个点云，其中放大一个区域更好可视化。
定量结果例子。采用relative translation error (RTE) 和 relative rotation error (RRE) 评估，如图分别对两个数据库进行比较实验，如表所示是更多的结果数据显示。
本文仅做学术分享，如有侵权，请联系删文。
