计算机视觉几何变换操作 计算机视觉 极几何约束

对极几何约束

---

文章目录

• 对极几何约束
• 前言
• 一、理论推导
• 二、代码实现
• 总结

---

前言

一、理论推导

这部分将讲解计算帧与帧之间相机相应位姿及特征点三维坐标。

$M$为观测对象，定义$C$为左视图的相机中心，$C$为右视图的相机中心，由$MCC$构成一个$\pi$平面；其中$CC$为基线，$l_1$为左视图的极线，$l_2$为右视图的极线，$e_1$为基线与左视图的交点，称为极点，同理$e_2$为右视图的极点；

• 找$M_1与M_2$之间关系

设左右视图的投影矩阵分别为$P$与$P$，内参矩阵为$K$与$K$，左视图坐标系为世界坐标系。$R、t$分别为左视图坐标系到右视图坐标系的旋转矩阵和平移向量，$M$在左视图投影为$M_1$，在右视图投影为$M_2$，齐次坐标为$\hat{M_1}、\hat{M_2} $所以有：
$\hat{\boldsymbol M_1} \sim \boldsymbol K[\boldsymbol I|\boldsymbol 0]\hat{\boldsymbol M}$

$\hat{\boldsymbol M_2} \sim \boldsymbol K$

由于，$C$是相机中心，$M_1M$直线上所有点在左视图的投影都为$M_1$，$P$是一个3*4的矩阵，$rank(P)=3$，具有广义逆，记作$P^+$，$P^+=P^T(PP^T)^{-1}$, 所以：
$\hat{\boldsymbol M}=s \boldsymbol P^+\hat{\boldsymbol M_1}+\boldsymbol C$

$\boldsymbol P\hat{\boldsymbol M}=s\hat{\boldsymbol M_1}$

同理，设$H=P$
$\hat{\boldsymbol M_2}\sim \boldsymbol P$
即找到$M_1与M_2$之间的关系；

• 几何约束

$M_1和M_2$对应的极线为$l_1$和$l_2$，$e_2$和$M_2$经过极线$l_2$，所以：
$\hat{\boldsymbol M_1}^T\boldsymbol l_1=0$

$\hat{\boldsymbol M_2}^T\boldsymbol l_2=0$

$\boldsymbol l_2=\boldsymbol e_2\times \hat{\boldsymbol M_2}$

• 联立

联立可以得到：
$\boldsymbol l_2=\boldsymbol e_2\times(s\boldsymbol H\hat{\boldsymbol M_1}+\boldsymbol e_2)=s\boldsymbol e_2\times \boldsymbol H\hat{\boldsymbol M_1}$
同时左乘$\hat{M_2}$可以得到：
$0=\hat{\boldsymbol M_2}^T\boldsymbol e_2\times \boldsymbol H\hat{\boldsymbol M_1}$
令$F=e_2\times H$，则
$\hat{\boldsymbol M_2}^T\boldsymbol F\hat{\boldsymbol M_1}=0$

• 基本矩阵的性质及8点法求解$F$

$F$是自由度为7，秩为2的矩阵。

$\hat{M_2}^TF\hat{M_1}=0$，所以根据匹配到的特征点，利用最小二乘进行结算，即可得到相应的基本矩阵，但是由于最小二乘计算过程中并没有添加基本矩阵所要的约束条件，所以得到的解可能不满足性质，因此需要进一步修正。

• 优化基本矩阵

为了满足条件，使用SVD分解来求解优化问题：
$arg\ min||\boldsymbol F-\boldsymbol F^*||,s.t. svd(\boldsymbol F)=[\sigma_1,\sigma_2,0]$
使用SVD分解得到$F^*$的奇异值，令其最小值为零，再代入求解新的$F$，即为满足要求的基本矩阵。

当我们选用的点数>8时，我们需用RANSAC方法来进行优化。

• RANSAC-随机一致性采样算法

/*
1、设定内点判断标准，随机采样8对匹配点；
2、利用8点法求解初始基础矩阵F；
3、优化初始基础急诊；
4、计算误差，并统计内点个数；
5、重复上述过程，至循环次数，并选择内点数最多的结果；
6、利用内点次数最多的结果所有内点重新估计参数。
*/

RANSAC采样次数的计算：
$M =M=\log_{（1-p^K）}{（1-z）} = \frac{lg(1-z)}{lg(1-p^K)}$
$N$：样本点数；

$K$：求解模型需要最少的点的个数；

$p$：内点的概率；

$p^K$：$K$个点都是内点的概率；

$1-p^K$：K个点至少有一个外点的概率；

$z=1-(1-p^K)^M$：$M$次采样至少有1次成功的概率。

内点评判标准（$x_1$为左视图投影点，$x_2$为右视图投影点）：

1、一阶几何误差，又称Sampson distance。
$d\left(\boldsymbol{x}_{1}, \boldsymbol{x}_{2}\right)=\frac{\left(\boldsymbol{x}_{2}^{T} \boldsymbol{F} \boldsymbol{x}_{1}\right)^{2}}{\left(\boldsymbol{F} \boldsymbol{x}_{1}\right)_{x}^{2}+\left(\boldsymbol{F} \boldsymbol{x}_{1}\right)_{y}^{2}+\left(\boldsymbol{x}_{2}^{T} \boldsymbol{F}\right)_{x}^{2}+\left(\boldsymbol{x}_{2}^{T} \boldsymbol{F}\right)_{y}^{2}}$
对该公式进行说明：$F(1,:)$与$x_1$对应相乘，$F(2,:)$与$x_1$对应相乘，$F(:,1)$与$x_2$对应相乘，$F(:,2)$与$x_2$对应相乘。

2、对称极线距离
$d\left(\boldsymbol{x}_{1}, \boldsymbol{x}_{2}\right)=\frac{\left(\boldsymbol{x}_{2}^{T} \boldsymbol{F} \boldsymbol{x}_{1}\right)^{2}}{\left(\boldsymbol{F} \boldsymbol{x}_{1}\right)_{x}^{2}+\left(\boldsymbol{F} \boldsymbol{x}_{1}\right)_{y}^{2}}+\frac{\left(\boldsymbol{x}_{2}^{T} \boldsymbol{F} \boldsymbol{x}_{1}\right)^{2}}{\left(\boldsymbol{x}_{2}^{T} \boldsymbol{F}\right)_{x}^{2}+\left(\boldsymbol{x}_{2}^{T} \boldsymbol{F}\right)_{y}^{2}}$

• *用所有内点进行非线性优化–$LM$（选用）
• 计算本质矩阵$E$

$\boldsymbol F=\boldsymbol e_2\times \boldsymbol H=\boldsymbol K$

式中，$E=t \times R$即本质矩阵，所以：
$\boldsymbol E=\boldsymbol K$
本质矩阵性质：当且仅当它的两个奇异值相等且第三个奇异值为零；所以，求解$F$同理，利用SVD分解来重构$E$，不同的是：
$\boldsymbol E=\boldsymbol Udiag(\frac{\sigma_1+\sigma_2}{2},\frac{\sigma_1+\sigma_2}{2},0)\boldsymbol V^T$

• 单应矩阵

当场景中的特征点都落在同一个平面时，通过单应性进行估计。设距光心为$d$平面，特征点$\boldsymbol X$在两个视图上对应点$\boldsymbol x_1$、$\boldsymbol x_2$满足：
$\boldsymbol n^T \boldsymbol X+d=0$

$-\frac{\boldsymbol n^T \boldsymbol X}{d}=1$

$x_2 \sim \boldsymbol K$

$\boldsymbol x_2\sim \boldsymbol K$

$\boldsymbol x_2 \sim \boldsymbol K(\boldsymbol R-\boldsymbol t\frac{\boldsymbol n^T}{d})\boldsymbol X$

$\boldsymbol x_2 \sim\boldsymbol K(\boldsymbol R-\boldsymbol t\frac{\boldsymbol n^T}{d})\boldsymbol K^{-1}\boldsymbol x_1$

令$K(\boldsymbol R-\boldsymbol t\frac{\boldsymbol n^T}{d})\boldsymbol K^{-1}=\boldsymbol H$，称之为单应性矩阵，得：
$\boldsymbol x_2 \sim \boldsymbol H\boldsymbol x_1$
类似于$\boldsymbol F$得求解方法
$\begin{pmatrix}u_2\\v_2\\1\end{pmatrix} \sim \begin{pmatrix} h_1& h_2 & h_3\\ h_4 & h_5 & h_6\\ h_7 & h_8 &h_9 \end{pmatrix}\begin{pmatrix}u_1\\v_1\\1\end{pmatrix}$
即:
$s\begin{pmatrix}u_2\\v_2\\1\end{pmatrix} \sim \begin{pmatrix} h_1& h_2 & h_3\\ h_4 & h_5 & h_6\\ h_7 & h_8 &h_9 \end{pmatrix}\begin{pmatrix}u_1\\v_1\\1\end{pmatrix}$
$s$是处理齐次性的比例因子，从方程第三行求解$s$带入第一、二行，可得到：
$h_1u_1+h_2v_1+h_3-h_7u_1u_2-h_8v_1u_2-h_9u_2=0$

$h_4u_1+h_5v_1+h_6-h_7u_1u_2-h_8v_1v_2-h_9v_2=0$

$\boldsymbol A_i=\begin{pmatrix} u1 & v1 & 1 & 0 & 0 & 0 & -u_1u_2 & -v_1u_2 & -u_2\\ 0 & 0 & 0 & u_1 & v_1 & 1 & -u_1v_2 & -v_1v_2 &-v_2 \end{pmatrix}$

$\boldsymbol h^T = \begin{pmatrix} h_1 & h_2 & h_3 & h_4 & h_5 & h_6 & h_7 & h_8 &h_9 \end{pmatrix}$

得到两个约束，单应性矩阵自由度为8（$h_9=1$），则至少需要4对匹配点进行求解。$\boldsymbol A\boldsymbol h=\boldsymbol 0$，求$\boldsymbol A$为0特征值的特征向量，或通过$\boldsymbol {SVD}$分解求得$\boldsymbol A$的一维零子空间。

在工程应用时，我们会倾向于同时计算基础矩阵和单应性矩阵，从而选择从投影误差最小的作为估计相机运动的矩阵。

• 帧与帧之间相机相应位姿的求解

根据前面，我们知道$\boldsymbol E=\boldsymbol t \times \boldsymbol R$，$\boldsymbol R$、$\boldsymbol t$由$\boldsymbol E$的奇异值分解（SVD）得到，设$\boldsymbol E$的SVD为：
$\boldsymbol E=\boldsymbol U\Sigma \boldsymbol V^T$
在奇异值分解中，对于任意一个$\boldsymbol E$，存在两个可能的$\boldsymbol t$，$\boldsymbol R$与之对应：
$\boldsymbol{t}_{1}=\boldsymbol{U}(:, 2) \ \ \ \ \ \ \ \ \ \ \boldsymbol{t}_{2}=-\boldsymbol{U}(:, 2)$

$\boldsymbol R_1=\boldsymbol U\boldsymbol R_z(\frac{\pi}{2})\boldsymbol V^T \ \ \ \ \ \ \boldsymbol R_2=\boldsymbol U\boldsymbol R_z^T(\frac{\pi}{2})\boldsymbol V^T$

我们所得到的四个解，相机2对应有四种姿态和位移，我们选择P同时满足在两个相机前方。判断方法：

/*
1、利用三角测量（p1, p2, K1, R1, t1, K2, R2, t2），求出四种情况对应的三维坐标；
2、利用R、t，求出投影的(x,y,z);
3、z>0，对两个相机均成立，则正确。
*/

二、代码实现

---

总结