​https://openreview.net/group?id=ICLR.cc/2019/Conference​​ BA-NET: DENSE BUNDLE ADJUSTMENT NETWORKS

本文介绍一个网络结构,来解决 structure-from-motion(SfM)问题,通过 特征矩阵 bundle adjustment (BA),
这个网络结构能够明显的通过 特征矩阵误差 的形式 强化 多视角几何约束,
整个流程是可导的,所以网络能够学习合适的特征 来使BA问题更可追溯,
更多的,这个工作介绍一个新颖的depth parameterization to recover dense per-pixel depth,
网络首先 根据输入的图片 生成几个 basis depth maps 然后 通过特征矩阵BA 来 优化最终的 深度 作为一个 basis depth maps 的线性组合,
basis depth maps 生成器也是可以端到端训练的,整个系统很好的结合了 领域知识(即 硬编码的 多视角 几何约束)以及深度学习(即特征提取和 basis depth maps 学习)来解决dense SfM问题,
在大规模的数据集上的实验证明方法的有效。

Structure-from-Motion(SfM)问题的研究,过去所有的方法尝试 通过 Bundle-Adjustment(BA)算法 联合优化 场景结构 和 相机运动,最近的深度学习网络 没有强化 3D结构 和 相机运动 的几何约束,如DeMoN,景深 和 相机运动 是通过两个独立的子网络优化的。