标题：PluckerNet: Learn to Register 3D Line Reconstructions
作者：Liu Liu, Hongdong Li , Haodong Yao and Ruyi Zha
编译：lionheart
审核：zhiyong
泡泡机器人SLAM
摘要
在欧几里得空间中，对齐两个部分重叠的三维线重建是一个挑战，因为我们需要同时解决线重建之间的对应关系和相对位姿。本文提出了一种基于神经网络的方法，该方法有三个模块依次连接:(1)基于多层感知器(MLP)的网络将线的普吕克表示作为输入,提取显著的线特性和匹配特征,(2)最优传输层将线特性和匹配特性作为输入来估计一个二维联合概率矩阵,每一项描述了匹配可能性,(3)将最搞匹配概率的线对输入到RANSAC框架下的二线的最小解算器，以估计6自由度刚性变换。室内和室外数据集的实验表明，我们的方法的配准(旋转和平移)精度明显优于对比方法，代码开源：https://github.com/Liumouliu/PlueckerNet
主要贡献
1、一个简单的、端到端的和高效的学习策略用于在欧氏空间中刚性配准两个线结构
2、使用深度神经网络考虑线的几何结构提取线特征。
3、基于最优转换理论构建原始全局特征匹配网络用于寻找线对应匹配。
4、在欧氏空间中构造了一个二线最小求解器，使用RANSAC框架完成3D线结构配准。
5、提出了两个3D线配准基线(迭代最近线和直接回归)，三个数据集实验并显示所提方法的最先进的性能。
方法概述
图 网络整体框架
特征提取和表达
网络输入一系列无序的三维线，使用普吕克坐标（v，m）来表征线特征，v是三维方向向量，m是维矩向量，v和m分布在两个空间中，为了建立两空间关联，使用两个不共享权值的并行网络独立地处理v和m，然后将它们的特征串接起来，在高维空间中表达普吕克直线，这种子空间编码方法的优点是：1）明确地考虑了v和m之间的域间隙；2）我们能够在v方向空间和m矩空间的每个子空间中定义几何近邻。子空间特征构建与特征整合过程如下图所示，对于向量空间v或矩向量空间m，构建Knn图，对于每个直线节点提取局部特征，通过MLP将局部特征映射到高维空间，链接128维度MLP整合两个子空间。
图 普吕克直线子空间编码
在编码六维度普吕克直线到128维度特征后，进一步编码直线及其邻域直线特征制作便于匹配的显著特征，采用自注意力和交叉注意力来提取线段的显著特征，如下图所示，对源线段和目标线段定义两个图结构，节点值为线特征值，在一个消息传递框架中，节点值使用多头自我和交叉注意进行更新。
图 显著性特征构建
特征匹配
获得每个线的学习特征描述后，我们执行全局特征匹配来评估普吕克线对的相似性，首先计算线特征匹配相似矩阵H，H中的元素表示线特征的L2距离。对给定的线匹配可能性进行建模，初始匹配阶段，定义一元匹配可能性向量，在源和目标线结构中分别使用r和s表示，使用一个轻量级匹配回归网络来评估r或s。全局匹配阶段，对于H，r和s，评估一个权重矩阵W，W中的每个元素代表线对的匹配概率，选择Sinkhorn求解器求解W矩阵。
图 W匹配概率求解
损失函数设计
为了训练特征提取和匹配网络，设计关于匹配概率W的损失函数，最大化内点匹配概率同时最小化外点匹配概率。如果为正确线匹配C赋值为1，错误线匹配C赋值0.
姿态评估
提取出包含外点的的一致线匹配组合，进一步计算两个线集合的转换参数，最少需要两个线对应来解算相对的旋转矩阵R和平移参数t，第一步使用12式可求解旋转矩阵R，进一步使用11式计算平移向量t。在RANSAC迭代配准框架下，选择两个线匹配计算转换参数，计算线匹配组合中内点数量，选取内点数量最多的转换参数为最优参数。
实验结果
选取室内公开数据集Structured3D，室外数据集Semantic3D和真实世界基于线的视觉导航数据集Apollo进行实验。因为没有现有的对比方法，因此作者提出并实施了两种方法用于对比：1）ICL，迭代最近线算法，类似于迭代最近点算法；2）Regression，这个方法没有评估线和线的匹配，在提取线特征后，应用全局最大池化层获得源和目标线结构特征，然后将全局线结构特征链接MLP直接回归旋转和平移参数。
图 旋转和平移误差对比
真实世界基于线匹配的视觉里程计测试中，使用Apollo数据集中图像深度信息，恢复连续帧的三位直线结构，通过配准直线结构完成视觉里程计。结果如下所示：
图 Apollo数据集上的视觉里程计
Abstract
Aligning two partially-overlapped 3D line reconstructions in Euclidean space is challenging, as we need to simultaneously solve correspondences and relative pose between line reconstructions. This paper proposes a neural network based method and it has three modules connected in sequence: (i) a Multilayer Perceptron (MLP) based network takes Pl¨ucker representations of lines as inputs, to extract discriminative line-wise features and matchabilities (how likely each line is going to have a match), (ii) an Optimal Transport (OT) layer takes two-view line-wise features and matchabilities as inputs to estimate a 2D joint probability matrix, with each item describes the matchness of a line pair, and (iii) line pairs with Top-K matching probabilities are fed to a 2-line minimal solver in a RANSAC framework to estimate a six Degree-of-Freedom (6-DoF) rigid transformation. Experiments on both indoor and outdoor datasets show that registration (rotation and translation) precision of our method outperforms baselines signifificantly.
本文仅做学术分享，如有侵权，请联系删文。
▲长按关注公众号
