首个集成内容投影的实时结构光系统
论文题目：X-maps: Direct Depth Lookup for Event-based Structured Light Systems
作者：Wieland Morgenstern, Niklas Gard等
作者机构：Fraunhofer Heinrich Hertz Institute, HHI等
论文链接：https://arxiv.org/pdf/2402.10061.pdf
代码链接：https://github.com/fraunhoferhhi/X-maps
本文提出了一种用于空间增强现实（SAR）应用的直接深度估计新方法，利用事件相机进行。该方法使用激光投影仪进行深度估计，采用结构光方法。主要贡献包括将投影仪时间图转换为矫正的X-地图，捕获入射事件的x轴对应关系，实现直接视差查找，无需额外搜索。与之前的实现相比，这显著简化了深度估计过程，使其更有效率，而准确性与基于时间图的过程相似。此外，通过简单的时间映射校准，作者还补偿了廉价激光投影仪的非线性时间行为，提高了性能和深度估计准确性。由于深度估计仅需两次查找，每帧执行速度几乎可以达到即时水平（使用Python实现每帧少于3毫秒），适用于需要低延迟、高帧率和直接反馈的SAR体验的实时互动和响应能力。作者还提供了有关数据转换为X-地图的宝贵见解，并对作者的深度从视差估计与最先进的基于时间图的结果进行了评估。
读者理解：
这篇论文介绍了一种利用小型激光投影仪触发事件来直接计算深度的方法，该方法适用于空间增强现实应用。通过将投影仪时间映射转换为矫正的X-映射，可以在不需要额外搜索的情况下直接从查找表中获取深度信息，从而简化了深度估计过程。该方法的关键优势在于能够以高速率生成高分辨率的点云，这对于实时交互和响应至关重要。论文指出，虽然系统受到事件相机传感器噪声和读出特性的限制，但未来的改进可以通过提高传感器分辨率、降低噪声和提高读出速度来改善系统性能。此外，作者强调了保留所有事件深度信息的重要性，以便在生成的场景中保持清晰的边界和可见的小对象。总体而言，该方法为实现低延迟、高帧率和直接反馈的空间增强现实体验提供了一种有效途径。
1 引言
本文介绍了一种新颖的超低延迟深度估计方法，适用于空间增强现实（SAR）应用。该方法利用事件相机和结构光投影仪，通过测量像素强度的变化来捕捉运动和亮度变化，以实现实时准确的深度估计。与传统相机相比，事件相机具有更高的速度和稳健性，使其成为与结构光投影仪集成用于SAR系统的理想选择。本文的关键贡献包括将投影仪的时间图转换为矫正的X-地图，捕捉了入射事件的x轴对应关系，实现了直接的视差查找；通过校准时间图来模拟消费类MEMS激光扫描仪的非线性时间行为，从而改善深度估计误差；以及展示了一个实时基于事件的深度估计系统，具有集成内容投影的能力，适用于需要高帧率和直接反馈的SAR应用场景。
2 事件直接深度查找
本文介绍了一种事件直接深度查找的方法，用于空间增强现实（SAR）应用中的深度估计。该方法利用事件相机和结构光投影仪，通过测量像素强度的变化来捕捉运动和亮度变化，以实现实时准确的深度估计。事件相机产生异步事件，为每个事件提供相机坐标（x，y）、时间戳t和极性p。将事件的时间戳存储在图像中得到了(x，y) 7−→ t的时间映射。通过矫正的时间映射，可以匹配相机时间映射中记录的时间与合成的投影仪时间映射中理想时间，从而实现直接视差查找。为了避免耗尽的视差搜索，提出了直接检索视差的解决方案，通过简单快速的CPU实现实现。通过倾斜投影仪，使投影仪行从底部向顶部扫描，列从左到右扫描，使较大的时间步长与视差轴对齐。通过在每个投影帧中绘制事件的y坐标随时间变化的图表，跟踪列在场景中创建的事件。最终实现了事件直接深度查找，避免了使用时间映射时所需的视差搜索。
3 演示设置
本文详细介绍了搭建演示器的具体步骤和所使用的设备。首先介绍了使用的Nebra Anybeam MEMS激光投影仪的技术规格，包括分辨率、刷新率和亮度等参数。对于事件相机部分，使用了Prophesee Evaluation Kit 1 (EVK1)，具有特定的分辨率、像素间距和对比度检测功能。接着介绍了相机-投影仪的校准方法，包括相机内参校准和投影仪相机外参校准。在校准过程中，使用了自定义的校准流程，首先对相机进行内参校准，然后使用白色扩散纸对投影仪进行内在和外在校准。然后讨论了帧触发器的工作原理，通过分析事件流的时间戳来识别投影帧的开始和结束时间。最后，介绍了事件过滤的方法，即如何处理多个事件同时出现在同一坐标的情况，以及如何设置相机参数来过滤不需要的事件。
4 实验
时间映射校准
- 时间映射校准的评估表明，校准方法基本有效。深度测量验证了校准过程的原理。未来的研究需要进行全面的定性评估。将投影仪的内在时间校准集成到校准过程中可能会提高精度和准确性，使系统更有效。时间映射校准实验表明，校准在各种投影仪和相机镜头校准中表现稳定。不同的投影仪显示不同程度的非线性时间行为。
与现有技术的比较
- 将方法与ESL进行比较，使用其提供的静态场景数据集。我们使用ESL的改进基线对比，发现ESL结果比MC3D更清晰地捕捉几何形状。我们的X-maps系统提供了与ESL-init非常相似的结果，RMSE差异最大为0.7mm，填充率几乎相等。与MC3D相比，我们的方法提供了更高的填充率和更低的RMSE。如果将MC3D测量值平均一秒钟，深度图将更加密集，但仍与ESL深度图有很大差异。
空间增强现实示例
- 我们建立了一个实时演示器，计算场景深度并将深度值投影回场景。我们的方法支持使用所有可用像素进行投影，可以显示任何图像内容并估计深度信息。稀疏场景可能导致帧触发算法失效。未来，我们希望将深度估计方法与对象检测和跟踪相结合，以创建更复杂的体验。
5 结论
本文介绍了一种直接计算由小型激光投影仪触发的事件深度的方法，该方法可在空间增强现实中以高分辨率创建点云。通过将投影仪时间映射转换为矫正的X-映射，可以直接从查找表中检索深度，同时考虑到扫描仪的非线性时间行为。这种方法适用于廉价投影仪，并且需要的计算资源较少。然而，系统受事件相机传感器噪声和读出特性的影响，可能会引入时间戳误差。未来的改进可以集中在传感器分辨率、噪声降低和读出速度上，以提高方法的精度和性能。通过保留所有事件深度信息，而不在图像域中进行进一步的噪声过滤，该方法可以产生清晰的边界和可见的小对象。作者通过在公共数据集上进行评估，表明该方法提供了类似的深度精度。未来的工作可以进一步研究激光扫描仪的行为，以提供更精确的时间映射校准，并探索投影到任意对象的可能性。
