深度学习图像序列 序列 图像深度估计

提出卷积空间传播网络(CSPN)为深度估计学习关联矩阵。具体来说就是，采用一个线性传播模型以循环卷积的形式传播，DCNN学习临近像素间的关联关系。

深度估计提升性能的方法有：

1. 使用更好的网络(如VGG、ResNet)估计全局场景布局和尺度。
2. 通过反卷积、跳跃连接、反投影更好地恢复局部纹理。

我们提出的CSPN中，每个像素的深度值在一个卷积上下文中同时更新。这个长程上下文(long range context)由一个循环操作获得。这种并行更新模式大大提高了性能。

给定一个单目图像，CSPN用于两个深度估计任务：

1. 优化现有方法产生的深度图。
2. 用激光雷达获取的稀疏深度图产生稠密深度图。

本文遵循的准则：

1. 产生的深度图应该和图像结构一致。
2. 稀疏的深度值应该不变，因为它们来自可靠的激光雷达。
3. 稀疏的深度值和它们周围的深度值应该过渡平滑。

为此，基于这个网络添加镜像连接，然后把传播嵌入SPN以保护稀疏深度，最后把SPN改成CSPN。

相关工作

1. CNN和CRF估计单目深度。
2. 深度增强：有一些工作专门做RGB/D图像增强，包括近年基于深度学习的超分辨率。这些工作用的训练样本(低分辨率图和高分辨率图)都是很准确的。而本文的数据来自激光获取的稀疏深度图或其他网络产生的深度图，这样的图有误差。因此需要SPN这样专门的扩散处理机制指导增强。
3. 学习关联信息用于空间扩散：我们的工作和SPN最像，为了实现扩散，把学习一个大关联矩阵的问题转化为学习一个局部线性空间传播的问题。这样就产生一个用于图像增强的简单有效的方法。
4. 根据已知稀疏深度值估计深度。

方法

我们把问题看作一个各向异性扩散过程，扩散张量由DCNN直接从给定的图像学得并用于优化输出。

卷积空间传播网络