Multi-Spectral Visual Odometry without Explicit Stereo Matching
摘要
由标准（可见光）摄像机和长波红外摄像机组成的多光谱传感器可以同时提供可见光和红外图像。由于红外与环境光照无关，在复杂的光照条件下，红外有助于克服标准相机的某些局限性。它们的图像通常具有很低的纹理相似性。因此，传统的基于纹理的特征匹配方法不能直接应用于立体匹配。针对这一问题，提出了一种非直接立体匹配的多光谱视觉里程计方法。利用直接图像对齐技术对可见光和红外进行多视立体束平差。利用固定基线立体图对地图点进行额外的时间观测，可以避免比例尺漂移。实验结果表明，该方法能在恢复的度量尺度下提供准确的视觉里计结果。此外，该方法还可以提供具有多光谱信息的半稠密密度下的度量三维重建，这是现有多光谱方法所不具备的。
贡献
1.提出了一种新的无显式立体匹配的多光谱视觉里程测量方法。该方法不仅可以得到里程测量结果，而且可以在两个光谱不具有相似性的情况下，为每个地图点提供度量半稠密的三维重建和多光谱信息。
2.新方法克服了LWIR相机暂时无法获得图像的问题。
3.在多光谱数据集上对新方法进行了定量和定性评估。实验结果表明，在不使用显式立体匹配的情况下，该方法仍然可以防止度量尺度漂移，并在具有挑战性的数据集中得到了不错的结果
方法
基本原理，坐标和运动转换
如果初始化成功，每个包含多光谱数据的新帧首先以粗到细的方式跟踪到最新的关键帧，基于直接图像对齐公式。如果 从新帧中观察到的场景与从关键帧中观察到的场景有很大的不同，这个新框架将作为新的关键帧添加到滑动窗口中。在滑动窗口中，所有测量值都用于优化关键帧姿态、仿射亮度参数和观察到的地图点的反深度，再次基于多视图立体图像的直接对齐。只计算每个相机的时间视图之间的光致子电阻，而不需要立体设置的两个相机之间的光致子电阻。滑动窗口优化后，进行收敛性检验，验证度量尺度是否收敛。为了保持滑动窗口的大小，旧的关键帧和地图点将使用schur补集边缘化。
框图
两个相机同时投影
两种相机同时进行运动转化估计深度图
两种相机关键帧
实验
两种相机硬件
