计算机视觉life
聚焦计算机视觉、机器人SLAM、自动驾驶、AR领域核心技术。
公众号
本文对立体匹配算法：Patch Match Stereo实用进行了教程详解。
作者丨3D视觉开发者社区
01
简介
我们知道，现有立体匹配算法一般被分类为局部算法、全局算法和半全局算法，其中局部算法和半全局算法是应用最为广泛。在局部算法中，一个最简单的做法就是采用某种像素相似性度量，比如像素灰度差的绝对值AD，给定左图中的一个点p，在右图中的对应行上（假设输入是已经校正好的图像）搜索与其AD值最小的点q，这样得到的点q就是p在右图中对应的匹配点，p、q的水平坐标差称作视差。然而这种做法所得到的视差图中会包含大量的噪声，即错误的匹配对，原因可能是多方面的，如传感器噪声，左右相机的采集性能差异，图像中存在大面积无纹理、弱纹理或重复纹理，左右相机接收的光照差异（室外环境）等。
一个更好的做法是不直接匹配单个像素，而是匹配像素点所在的区域，这个区域叫做支撑窗口(support window)，支撑窗口的尺寸可以是固定的，也可以是自适应变化的。如下式所示，由于支撑窗口内的像素提供了更多的信息，因此可以有效降低匹配歧义。
然而使用支撑窗口的做法是存在问题的，实际上它隐性的遵从了一个假定，即窗口内的所有像素具有相同的视差。然而这个假定在很多情况下并不成立，比如：
A. 窗口内的像素与中心像素位于不同的表面；
B. 窗口所捕获的是一个倾斜表面或曲面，即非平行表面（这个平行指的应该是与相机成像平面平行）。
如下图(a)所示，Q点实际上位于一个亚像素的视差平面上，R位于倾斜平面上，S位于一个弧形表面上：
许多研究人员主要关注的是A中所描述的情况，为了解决这种问题，一个比较有效的做法是对窗口内的像素采用自适应权重进行匹配，如下式所示，这样的方法可以很好的避免edge fattening(边缘平滑)问题：
权重计算所使用的方法可以是类似双边滤波的核函数：
也可以是基于测地线距离的核函数：
那么如何解决B中的问题呢？我们知道空间中任意一点都可以认为是在一个唯一的平面上，如下式所示，该平面的参数为
基于上面的想法，2011年Michael Bleyer 提出了一个相当新颖的立体匹配算法叫PMS，该算法的主要思想是对每一个像素计算一个独立的最优3D视差空间平面，如果该像素位于一个曲面上，那么该平面代表曲面在该像素点处的切面，在这个基础上，用于匹配的支撑窗口就是not fronto-parallel support window，简称slanted support window。这样一来问题的挑战就转移到了如何为每一个像素点在所有可能的视差空间平面中挑选出最优的视差平面。
显然视差平面的数量是无限多的，因此通过遍历所有的视差平面来寻找最优平面是不可能的。Michael Bleyer 找到了一个巧妙的方法解决这个问题，那就是采用Patch Match的思想，Patch Match本身是一个高效求解近似最近邻场(Nearest neighbor filed)的方法，主要包括初始化、空间传播、随机搜索三个步骤。除了Patch Match中的空间传播外，作者还另外提出了视图传播和帧间传播（用于连续的视频帧）能够更好的帮助算法收敛。如下图所示，利用PMS不仅可以直接估计亚像素视差， 还能够精确的重建倾斜表面，甚至能够重建圆形的曲面。
02
算法
1.模型
2.2迭代
如下图所示，迭代过程中，每一个像素将经历4个阶段：空间传播、视图传播、帧间传播、平面细化，一般先处理左图，然后再处理右图。在偶数次迭代中从左上到右下依次遍历每一个像素，在奇数次迭代中，则顺序相反。
2.2.1空间传播(spatial propogation)
4.为全局算法构建数据项
全局算法对于遮挡区域和无纹理区域的处理要优于局部算法，所以本文提出的匹配代价还可以应用到全局算法当中，只不过此时将无法在使用连续的视差平面。下图显示了局部算法对于纹理匮乏的图像匹配失败，而全局算法却很好的处理了这种情况。
03
代码实现
代码地址：
https://github.com/fightingcf/patchmatchstereo
04
实验
这里选择了MiddleBurry数据集中图像进行实验，效果如下图，可以看到该算法生成的视差图是稠密的，而且边缘保持的非常好，整体视差精度较高。
05
总结
1.PMS算法不同于传统的局部算法，它不是直接估计视差，而是估计视差平面，而且利用patch match思想在无限多的视差平面中来推理出最优视差平面。因此它的两个最大的优点是：(1)能够直接计算亚像素视差；(2)能够处理倾斜表面和曲面，这是其他局部算法所不具备的。
2.PMS算法的性能比较有限，虽然在middleburry上表现的确惊艳，但是在处理室外场景时鲁棒性不是特别好，特别是对于较高的图像噪声、大面积的弱纹理或重复纹理等(当然其他的算法也不能很好的处理)，其效果一般弱于SGM和ELAS等算法。
3.PMS算法的速度比较慢，因为它的所有处理流程都是顺序性的，不能并行处理，目前已经有一些算法改进了PMS中的传播方式使其能够并行处理，并应用于GPU，这里给出论文名称《Massively Parallel Multiview Stereopsis by Surface Normal Diffusion》。
参考资料：
1.PatchMatch Stereo - Stereo Matching with Slanted Support Windows，Michael Bleyer, Christoph Rhemann, Carsten Rother.
2.Stereo Matching—State-of-the-Art and Research Challeng，Michael Bleyer, Christian Breiteneder.
3.Massively Parallel Multiview Stereopsis by Surface Normal Diffusion, Silvano Galliani, Katrin Lasinger, Konrad Schindler.
本文只做学术分享，如有侵权，联系删除
