android 获取相机畸变

相机标定讲解

在图像测量等机器视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型参数就是相机参数。在大多数条件下这些参数必须通过实验与计算才能得到，这个求解参数（内参、外参、畸变参数）的过程就称之为相机标定（或摄像机标定）。在图像测量等机器视觉应用中，相机参数的标定都是非常关键的环节，其标定结果的精度及算法的稳定性直接影响相机工作产生结果的准确性。因此，做好相机标定是做好后续工作的前提，提高标定精度是科研工作的重点所在。

畸变（Distortion）是对直线投影（Rectilinear Projection）的一种偏移。简单来说直线投影是场景内的一条直线投影到图片上也保持为一条直线。畸变简单来说就是一条直线投影到图片上不能保持为一条直线了，这是一种光学畸变（Optical Aberration），可能由于摄像机镜头的原因。

坐标转换基础

在视觉测量中，需要进行的一项重要预备工作就是定义四个坐标系的意义，即摄像机坐标系、图像物理坐标系、像素坐标系和世界坐标系（参考坐标系）。

1. 图像坐标系(x, y)至像素坐标系(u, v)

1.1 两坐标轴互相垂直

此时有：

1.2 两轴不互相垂直

此时有：

写成矩阵形式为：

2. 相机坐标系(Xc, Yc, Zc)至图像坐标系(x, y)

根据小孔成像原理，图像坐标系应在相机坐标系的另一边，为倒立反向成像，但为方便理解和计算，故投影至同侧。根据三角形相似性原理得：

3. 世界坐标系(Xw, Yw, Zw)至相机坐标系(Xc, Yc, Zc)

4. 合并公式

R、T矩阵为相机的外参矩阵。这个1/Zc不对，应该为Zc。

畸变

畸变一般可以分为：径向畸变、切向畸变。

1. 径向畸变来自于透镜形状；
2. 切向畸变来自于整个摄像机的组装过程。

畸变还有其他类型的畸变，但是没有径向畸变、切向畸变显著，所以忽略不计。

径向畸变（桶形畸变和枕形畸变）：实际摄像机的透镜总是在成像仪的边缘产生显著的畸变，这种现象来源于“筒形”或“鱼眼”的影响。如下图，光线在原理透镜中心的地方比靠近中心的地方更加弯曲。对于常用的普通透镜来说，这种现象更加严重。筒形畸变在便宜的网络摄像机中非常厉害，但在高端摄像机中不明显，因为这些透镜系统做了很多消除径向畸变的工作。

对于径向畸变，成像仪中心（光学中心）的畸变为0，随着向边缘移动，畸变越来越严重。

对于径向畸变可以通过下面的泰勒级数展开式进行校正：

这里的x、y是图像中的畸变后的位置坐标，通过校正得到真实坐标。r是该点距成像中心的距离。

切向畸变（薄透镜畸变和离心畸变）：切向畸变是由于透镜制造上的缺陷使得透镜本身与图像平面不平行而产生的。

切向畸变可以通过如下公式来矫正：

这里的x、y是图像中的畸变后的位置坐标，通过校正得到真实坐标。r是该点距成像中心的距离。

OpenCV畸变模型

径向畸变模型：

xc= xd (1+k1r^2 +k2r^4 +k3r^6+⋯)

yc= yd (1+k1r^2 +k2r^4 +k3r^6+⋯)

切向畸变模型：

xc= 2p1xdyd+p2 (r^2 +2xd^2 )

yc= 2p2xdyd+p1 (r^2 +2yd^2 )

可得：

xc= xd (1+k1r^2 +k2r^4 )+2p1xdyd+p2 (r^2 +2xd^2 )

yc= yd (1+k1r^2 +k2r^4 )+2p2xdyd+p1 (r^2 +2yd^2 )

xd，yd为图像中的点（存在畸变），xc，yc是畸变校正后的点。

由公式可得畸变有k1，k2，k3，p1，p2五个参数，对于质量比较好的相机来说，切向畸变很小，可忽略，径向畸变系数k3也可忽略，只计算k1，k2两个参数。张正友标定中就默认为p1，p2为0。

标定方法

1. 传统相机标定

最简单的相机标定为线性标定，即不考虑相机的畸变而只考虑空间坐标转换。

每个坐标点有X，Y两个变量，可列两个方程，相机内参有5个未知数，外参平移和旋转各3个，共有11个变量，因此至少需要6个特征点来求解。

2. 非线性标定

当镜头畸变明显时必须考虑畸变，一般较为便宜的网络摄像头畸变特别大，而价格较贵的工业摄像头则畸变很小，因为其中已经嵌入了许多消除畸变的程序。这时线性模型转化为非线性模型，需要通过非线性标定方法求解。有最速下降法，遗传算法，高斯牛顿法和神经网络算法等。

3. 张正友标定介绍

张正友标定只考虑了径向畸变，没有考虑切向畸变。由上面的坐标转换可得：

H即为单应性矩阵。

H为3x3矩阵，并且有一个元素作为齐次坐标，则有8个未知元素，一组坐标对应两个方程，则至少需要四组对应的点即可算出单应性矩阵H。

因为R旋转矩阵为正交矩阵，存在：

代入H可得求出两组A和H的公式：

矩阵A包含5个元素，需要3组H方可解出A的唯一封闭解，因此在标定时需拍摄3组以上的图片。由A可计算出相应的外参矩阵。在上述计算中，忽略了相机畸变的影响。对内外参应用最小二乘方法估计实际存在的径向畸变的畸变系数（忽略切向畸变），最后通过极大似然法进行优化，得到精度较高的解。

标定过程

相机标定步骤：

1. 打印一张棋盘格，把它贴在一个平面上，作为标定物。
2. 通过调整标定物或摄像机的方向，为标定物拍摄一些不同方向的照片。
3. 从照片中提取棋盘格角点。
4. 估算理想无畸变的情况下，五个内参和六个外参。
5. 应用最小二乘法估算实际存在径向畸变下的畸变系数。
6. 极大似然法，优化估计，提升估计精度。

Matlab工具箱标定方法

1. 应用程序中找到Camera Calibration

2. 添加标定板拍摄图片（按Ctrl可一次添加多张）

3. 输入棋盘格每格的尺寸大小

4. 显示已检测出的棋盘格，点击Calibration，开始标定。

5. 得到标定结果（平均误差小于0.5即可认为结果可靠，这个地方我还不是很清楚）

6. 可查看标定结果和程序

OpenCV标定

1. 循环读取图片；

2. 使用findChessboardCorners函数检测角点（需提前输入角点数）。

3. 使用find4QuadCornerSubpix函数对角点进行亚像素精确化

4. 可用drawChessboardCorners将角点显示。

5. 根据角点数和尺寸创建一个理想的棋盘格（用point向量存储所有理论上的角点坐标）。

6. 通过calibrateCamera函数由理想坐标和实际图像坐标进行标定，可得到标定结果。

7. 由projectPoints函数计算反向投影误差。

标定结果：matlab标定的内参经过转置与VS标定的内参基本一致。每一幅图像都有一个外参矩阵，它的作用是：通过将棋盘格上坐标系上的角点坐标（x, y, 0, 1）（计算过程中设定参考坐标系在棋盘格上左上方角点，Z轴垂直棋盘格平面，因此z为0,1表示齐次坐标）左乘外参矩阵再左乘内参矩阵可以得到该外参矩阵对应图像中的相应角点坐标。VS的标定结果经过代入点进行上述计算得到的坐标与图像基本一致，但matlab的结果不同直接代入并不相同。原因在于两种方法标定的结果表示形式不同，两种方法结果中外参矩阵的平移向量相同，但旋转矩阵结果不一致，原因还在思考中。

如上图OpenCV标定结果中内参矩阵里的2168和2174并不是焦距，而是焦距/每个像素大小，否则数量级不会这么大，焦距一般只有几毫米或几十毫米。