基于ESKF传感器融合定位 多传感器融合slam

1.单一传感器SLAM面临的问题

单一传感器会面临很多棘手的场景：在纹理少、四季天气变化、光照剧烈变化、车载条件IMU退化、长走廊、机器人剧烈运动等情况下，如下图所示。在这些复杂场景中，原来很好用的单一传感器的SLAM方法在往往会无用，很难发挥出应有的效果，导致建图失败。这些很棘手的场景会给我们带来实际应用中的困惑，采用单一的传感器会面临这个问题，所以多源融合这个领域很热门，被产业界所认可。

2.多传感器的融合方案

下图选自浙江大学刘勇教授在第二届全国SLAM技术论坛中的报告。

从上面多元融合的框架中我们可以看出，多源融合主要分为以下几个方面的融合：

• 多传感器的融合：比如相机、激光、IMU以及GPS等
• 多特征基元的融合：通过对特征点、线段还有灰度信息这些特征进行提取，从而得到多个特征基元。使用激光之后还能够得到三维点云的线特征、面特征以及正态分布特征，这些都是我们做SLAM时经常会使用的特征。
  -几何语义的融合：对相机和激光进行融合可以得到两个通道的信息，即图像和点云。现在的很多工作会将图像和点云信息直接输入到神经网络，这从某种层面上来说能够帮助我们提取语义信息。然后加上点云和图像的语义信息，就能够把几何和语义融合起来。

3.多源融合面临的问题

• 多传感器融合之后，传感器间数据如何同步？外参关系如何标定？
• 引入大量传感器之后，数据处理非常耗时，这与我们希望实现轻量级、快速响应且紧凑的SLAM系统相矛盾；
• 传感器根据原理的不同，有些观测相互耦合，信息有一定的冗余；
• 多特征基元的融合，在做线、面特征提取时，这是很工程化而且很依赖技巧，目前没有特别好的方法能够把线面的特征做到特别的通用、鲁棒；
• 进行参数化或者数据关联时，如果使用很差的原始输入，会产生很多误差和干扰。除此之外，图像特征和激光特征如何进行提取？几何特征之间如何实现紧耦合，这都是进行多源耦合会面临的问题；
• 怎么将语义信息融合到传统或者经典SLAM框架里，甚至能够像人一样地对语义进行认知。此外如何应用和集成图像语义和激光的语义信息，这也是非常有挑战性的问题。

本文是对浙江大学刘勇教授在第二届全国SLAM技术论坛中的报告和拾叁SHETHAN的imu 里程计融合_多源融合SLAM的现状与挑战这篇博客的整理