opencv双目立体重建

文章目录

• 一、平行视图

• 1.1 示意图
• 1.2 平行视图的基础矩阵
• 1.3 平行视图的极几何
• 1.4 平行视图的三角测量

• 二、图像校正
• 三、对应点问题

• 3.1 相关匹配法
• 3.2 归一化相关匹配法
• 3.3 窗口问题
• 3.4 相关法存在的问题
• 3.5 约束问题

---

一、平行视图

1.1 示意图

$e$ 和 $e$

1.2 平行视图的基础矩阵

$F=e$，推导过程如下所示。

$e$，平行视图下，$K=K$，$R=I$，那么对于平行视图有：

1.3 平行视图的极几何

$u$

$p$ 和 $p$ 在 $v$

 3. 极点位于无穷远处。

$p$ 和 $F$ 的情况下，$p$ 只需要按着扫描线寻找即可，扫描线指的是过 $p$ 且平行于 $u$

1.4 平行视图的三角测量

$P$ 到 $O_1$ 和 $O_2$ 的距离表示为深度 $z$，$O_1$ 和 $O_2$ 的距离为 $B$，焦距为 $f$。利用相似三角形底比高可得视差与深度 $z$

 2. (1) 平行视图中的视差图：根据两台平行摄像机在不同角度观察同一物体或场景时，由于视角差异造成的图像的差异进而推断出物体的深度和距离，得到一幅信息图，可以用于对物体或场景的三维重建和识别。 (2) 3D电影通过用两个摄像头同时模拟拍摄同一场景，模拟人眼双眼视觉，再将两个平行视图分别投影到屏幕上，由于使用特殊的偏振式眼睛，通过人眼的立体视觉原理，会给观众感知到一种立体的深度效果。

二、图像校正

 1. 图像校正：使一组非平行视图通过校正构建成平行视图。

 2. 图像校正有五步：
 (1) 在两幅图像 $l$ 和 $l$ 上找到一组匹配点 $p_i↔p$，不少于 $8$

$F$（八点法），求解两幅图像中的极点 $e$ 和 $e$。

$H$ 将 $e$ 映射到无穷远点 $(f,0,0)$，变换公式：$H=T^{-1}GRT$。
 ① 先将图像的中心点从左下角移到中心。② 构造 $R$。③ 构造 $G$。

$H$ 进行变换，使得经过 $H$ 和 $H$ 变换后的两个像平面满足平行视图要求：$Σd(Hp_i,H$。

$H$ 和 $H$，对左右两幅图像 $l$ 和 $l$

三、对应点问题

$p$ 点寻找对应 $p$ 点的问题，我们根据平行视图极几何关系可知，$p$

3.1 相关匹配法

$3*3$

3.2 归一化相关匹配法

 1. 对于一个图像上存在像素颜色或灰度变化突变的情况，上一种方法会出现计算误差较大，所以需要进行归一化。

 2. 归一化相关匹配法：改变原来的相似性度量，通过每个窗口向窗口均值进行归一化，达到平滑的效果。

3.3 窗口问题

 对于较小的窗口：会引入更多的噪声，更容易受到噪声影响，但反之也会在没有噪声影响的地方提供更精确的信息。对于较大的窗口：通过归一化操作可以平滑更多的噪声，但也会丢失一部分细节。

3.4 相关法存在的问题

 1. 透视缩短和遮挡问题：

$B/z$ 的过大，两个像平面无法得到更多的信息交互，导致信息丢失，所以可以适当减小 $B/z$。但当 $B/z$ 过小时，由于双目视觉上遮挡的信息只能尽量的去弱化，不能去消除，所以当 $B/z$

 3. 同质区域：由于存在世界坐标下不同区域但颜色非常相近的地方，所以会导致误差的产生，比如用双目视觉去测量一堵白墙的形状，但光影极其不明显。

 4. 对于世界实物上存在重复的区域，这会对双目视觉的三维重建产生较大的影响。

3.5 约束问题

 1. 唯一性约束：对于一张图像中的任何点，在另一张图像上最多只有一个匹配点，不存在同质区域和重复区域。

 2. 顺序约束/单调性约束：左右视图中的对应点次序一致，保证不存在遮挡。

 3. 平滑性约束：视差函数通常是平滑的，减少曝光亮度突变的问题。