摄像机的追踪标定
本文是我第一次写的博客，有不详之处，望大家见谅，也希望大家多多支持。
废话不多说，直接进入正题。对于摄像机标定，是学习图像处理和机器视觉不可回避的话题，这方面的现有理论已相对成熟，国内外学者所发的相关文章不少。摄像机标定主要分为传统相机标定，摄像机自标定，主动视觉标定。在这三类标定中，高精度标定用传统摄像机标定，但标定算法复杂，需知道高精度标定块结构信息；主动视觉摄像机标定方法，通常可以线性求解，鲁棒性比较高，但 不能使用于摄像机运动未知和无法控制的场合；摄像机自标定方法， 仅需要建立图像之间的对应，灵活性强，潜在 应用范围广，不足之处是非线性标定，鲁棒性不高。
在我的实验项目中，我采用介于传统标定和自标定之间的张正友棋盘格追踪标定，该标定方法易于操作，标定精度高，还有一点opencv中的标定算法也采用张正友标定法。在实验项目开始之前，我看了《计算机视觉》马颂德，张正友这本书，还看了张正友的棋盘标定法论文（英文不好懂），理论知识就足以。接下来，我用matlab中的工具箱进行了摄像机标定，之所以先采用matlab是因为可以让我们先了解相机标定原理和过程，同时标定精度高，在角点提取和畸变优化方面，功能强大，对计算出来的参数还可以进行迭代优化，关于matlab的相机标定大家可参考http://www.vision.caltech.edu/bouguetj/calib_doc/ ，同时matlab采用的是tasi两部标定算法。
接下来，我将重点放在相机标定中MFC界面的设计，opencv代码的编写上，在这之中遇到了许多小问题，希望对大家以后的开发有所借鉴。我的开发换进是VC6.0+opencv1.0（这种搭配应该是上个世纪的产物）。我将代码的实现分为两大模块，分别是实现摄像机打开关闭截图模块和标定模块（计算出内外参数，结果显示在edit box中），总体的界面设计如下图：
因为opencv1.0版本在win7系统中会出现一些问题，包括线程的创建，这些我会一一解答。
首先，对于摄像机的打开关闭，我没有采用opencv提供的函数，如cvCreateCameraCapture,cvQueryImage的函数，因为opencv1.0默认的是XP系统，win7上会出现黑屏。原因是老版本的opencv1.0采用的是Video for Windows (VFW)的视频读写框架，而新版本的opencv采用DirectShow这一通用读写框架。而现在用的视频采集卡支持通用框架（如DirectShow，V4L），但可能不支持VFW了，所以才遇到我之前遇到的情况，摄像头内容无法被软件读取到！去网上下载CameraDS包（基于DirectShow），利用类CCameraDS实现摄像头的读取，详见：
摄像机的打开代码如下：
void CImageShowDlg::OnButton1()
{
// TODO: Add your control notification handler code here
if (!camera.OpenCamera(0,false))
{
AfxMessageBox("无法打开摄像头");
return;
}
IplImage* m_Frame;
m_Frame=camera.QueryFrame();
CvvImage m_CvvImage;
m_CvvImage.CopyOf(m_Frame,1);
if (true)
{
m_CvvImage.DrawToHDC(hDC, &rect);
}
SetTimer(1,10,NULL); // 设置计时器,每10ms触发一次事件
}在上述代码中，我设置了timer消息，因为如果采用在while循环里面读取每一帧图像，是可以将摄像机视频流显示出来，但会发现其他按钮没有任何反应，原因在于处理器被while（）循环函数完全占有，没办法处理其他进程。所以我采用了类似于创建一个线程概念（有点时间片轮转的意思），每个10秒触发一次计时器，去读取视频帧。
void CImageShowDlg::OnTimer(UINT nIDEvent)
{
// TODO: Add your message handler code here and/or call default
m_Frame=camera.QueryFrame();
CvvImage m_CvvImage;
m_CvvImage.CopyOf(m_Frame,1);
if (true)
{
m_CvvImage.DrawToHDC(hDC, &rect);
}}接下来，就是摄像机的关闭，比较简单。
void CImageShowDlg::OnButton2()
{
// TODO: Add your control notification handler code here
camera.CloseCamera();
KillTimer(1);
}建议大家如果要将图片显示在界面上，可用CvvImage这个类，非常方便，否则还要写设置图片大小和显示两个函数。
接下来就是，截取符合要求的棋盘格图片，就是要判断读取到的帧图片角点提取数量是否符合要求，如果是，则保存图片，代码如下。
void CImageShowDlg::OnButton3()
{
// TODO: Add your control notification handler code here
char *FileName="wujiang";
char tmpfile[100]={'\0'};
static int count=1;
sprintf(tmpfile,"%s\\%d.bmp",FileName,count++);
Sleep(2000);
CvSize board_size = cvSize(4,6); /* 定标板上每行、列的角点数 */
int board_n=board_size.width*board_size.height;//标定板上的内角点总数
CvPoint2D32f* image_points_buf = new CvPoint2D32f[board_n]; /* 缓存每幅图像上检测到的角点 */
int num= -1 ;//用于存储角点个数。 所有变量定义后必须初始化，这是一个编程优良习惯
int found=cvFindChessboardCorners( m_Frame, board_size,image_points_buf, &num, CV_CALIB_CB_ADAPTIVE_THRESH);
if (found==0)
{
MessageBox("角点读取失败");
}
else
{
cvSaveImage(tmpfile,m_Frame);
}
}
下来是，摄像机标定算法的代码实现和将计算结果显示在edit box中。
void CImageShowDlg::OnImageShow()
{
// TODO: Add your control notification handler code here
ifstream fin("calibdata.txt"); /* 定标所用图像文件的路径 */
ofstream fout("caliberation_result.txt"); /* 保存定标结果的文件 */
ofstream fout1("Distortion1.txt");
ofstream fout2("Intrinsic1.txt");
int image_count=0; /* 图像数量 */
int sucesses=0;
CvSize image_size; /* 图像的尺寸 */
CvSize board_size = cvSize(4,6); /* 定标板上每行、列的角点数 */
int board_n=board_size.width*board_size.height;//标定板上的内角点总数
CvPoint2D32f* image_points_buf = new CvPoint2D32f[board_n]; /* 缓存每幅图像上检测到的角点 */
Seq<CvPoint2D32f> image_points_seq; /* 保存检测到的所有角点 */ //Seq是一个队列模板类
string filename;
int count= -1 ;//用于存储角点个数。 所有变量定义后必须初始化，这是一个编程优良习惯
while (getline(fin,filename))
{
image_count++;
Image<uchar> view(filename); //Image是个类
if (image_count == 1)
{
image_size.width = view.size().width; //传递图像的宽和高
image_size.height = view.size().height;
}
int found=cvFindChessboardCorners( view.cvimage, board_size,
image_points_buf, &count, CV_CALIB_CB_ADAPTIVE_THRESH);
if (found==0)
//cvFindChessboardCorners(要检测的棋盘图，图中每行和每列的角点个数，检测到的角点，输出——角点个数，操作标志)
//CV_CALIB_CB_ADAPTIVE_THRESH - 使用自适应阈值（通过平均图像亮度计算得到）将图像转换为黑白图，而不是一个固定的阈值。
//CV_CALIB_CB_FILTER_QUADS - 使用其他的准则（如轮廓面积，周长，方形形状）来去除在轮廓检测阶段检测到的错误方块。
//返回值：如果所有角点都被检测到且它们都被以一定顺序排布（一行一行地，每行从左到右），函数返回非零值，
//否则在函数不能发现所有角点或者记录它们地情况下，函数返回0
{
MessageBox("角点读取失败");
}
else
{
sucesses++;
Image<uchar> view_gray(view.size(),8,1);//Image(CvSize size, int depth, int channels )
//rgb2gray(view,view_gray);
cvCvtColor(view.cvimage, view_gray.cvimage, CV_BGR2GRAY);
/* 亚像素精确化 */
cvFindCornerSubPix( view_gray.cvimage, image_points_buf, count, cvSize(11,11),
cvSize(-1,-1), cvTermCriteria( CV_TERMCRIT_EPS+CV_TERMCRIT_ITER, 30, 0.1 ));//对粗提取的角点进行精确化
image_points_seq.push_back(image_points_buf,count);//add some elements at rear把精确化的角点坐标传递给image_points_seq
/* 在图像上显示角点位置 */
cvDrawChessboardCorners( view.cvimage, board_size, image_points_buf, count, 1);//用于在图片中标记角点
//cvDrawChessboardCorners(结果图像<必须是8位彩色图像>，每行和每列的内角点数目，
//检测到的角点数组，角点数目，指示完整地棋盘被发现(≠0)还是没有发现(=0))
view.show("calib");//显示图片
cvWaitKey(500);//用于暂停，单位是毫秒
view.close();
}
fout<<"图片："<<image_count<<" ";
fout<<"找到角点数："<<count<<endl;
}
/************************************************************************/
/*
//以下是利用包装后的数据结构（seq类）进行操作，比基于openCV的数据结构更方便，结构清晰。
*/
int total = image_points_seq.length();//所有检测出的角点数
delete []image_points_buf;
/************************************************************************
摄像机定标
*************************************************************************/
/*棋盘三维信息*/
CvSize square_size = cvSize(10,10); /* 实际测量得到的定标板上每个棋盘格的大小 */
Matrix<double> object_points(1,board_size.width*board_size.height*sucesses,3); /* 保存定标板上角点的三维坐标 */
//参数(row,col,channel)
Matrix<double> image_points(1,image_points_seq.cvseq->total,2); /* 保存提取的所有角点 */
Matrix<int> point_counts(1,sucesses,1); /* 每幅图像中角点的数量 */
/*内外参数*/
Matrix<double> intrinsic_matrix(3,3,1); /* 摄像机内参数矩阵 */
Matrix<double> distortion_coeffs(1,4,1); /* 摄像机的4个畸变系数：k1,k2,p1,p2 */
Matrix<double> rotation_vectors(1,sucesses,3); /* 每幅图像的旋转行向量 */
Matrix<double> translation_vectors(1,sucesses,3); /* 每幅图像的平移行向量 */
/* 初始化定标板上角点的三维坐标 */
int i,j,t;
for (t=0;t<sucesses;t++) {
for (i=0;i<board_size.height;i++) {
for (j=0;j<board_size.width;j++) {
/* 假设定标板放在世界坐标系中z=0的平面上 */
object_points(0,t*board_size.height*board_size.width+i*board_size.width+j,0) = i*square_size.width;
object_points(0,t*board_size.height*board_size.width+i*board_size.width+j,1) = j*square_size.height;
object_points(0,t*board_size.height*board_size.width+i*board_size.width+j,2) = 0;
}
}
}
/* 将角点的存储结构转换成矩阵形式 */
for (i=0;i<image_points_seq.cvseq->total;i++) {
image_points(0,i,0) = image_points_seq[i].x;
image_points(0,i,1) = image_points_seq[i].y;
}
/* 初始化每幅图像中的角点数量，这里我们假设每幅图像中都可以看到完整的定标板 */
for (i=0;i<sucesses;i++)
point_counts(0,i) = board_size.width*board_size.height;
/* 开始定标 */
cvCalibrateCamera2(object_points.cvmat,
image_points.cvmat,
point_counts.cvmat,
image_size,
intrinsic_matrix.cvmat,
distortion_coeffs.cvmat,
rotation_vectors.cvmat,
translation_vectors.cvmat,
0);
cvSave("Intrinsics.txt",intrinsic_matrix.cvmat);
cvSave("Distortion.txt",distortion_coeffs.cvmat);
cvSave("rotation_vectors.txt",rotation_vectors.cvmat);
cvSave("translation_vectors.txt",translation_vectors.cvmat);
/************************************************************************
对定标结果进行评价
*************************************************************************/
double total_err = 0.0; /* 所有图像的平均误差的总和 */
double err = 0.0; /* 每幅图像的平均误差 */
Matrix<double> image_points2(1,point_counts(0,0,0),2); /* 保存重新计算得到的投影点 */
fout<<endl<<"每幅图像的定标误差：\n";
for (i=0;i<sucesses;i++) {
/* 通过得到的摄像机内外参数，对空间的三维点进行重新投影计算，得到新的投影点 */
cvProjectPoints2(object_points.get_cols(i*point_counts(0,0,0),(i+1)*point_counts(0,0,0)-1).cvmat,
rotation_vectors.get_col(i).cvmat,
translation_vectors.get_col(i).cvmat,
intrinsic_matrix.cvmat,
distortion_coeffs.cvmat,
image_points2.cvmat,
0,0,0,0);
/* 计算新的投影点和旧的投影点之间的误差*/
err = cvNorm(image_points.get_cols(i*point_counts(0,0,0),(i+1)*point_counts(0,0,0)-1).cvmat,
image_points2.cvmat,
CV_L1);
cvSave("image_points3.txt",image_points.get_cols(i*point_counts(0,0,0),(i+1)*point_counts(0,0,0)-1).cvmat);
cvSave("each_image_points2.txt",image_points2.cvmat);
total_err += err/=point_counts(0,0,0);
fout<<"\t第"<<i+1<<"幅图像的平均误差："<<err<<"像素"<<'\n';
}
fout<<"总体平均误差："<<total_err/sucesses<<"像素"<<'\n'<<'\n';
/************************************************************************
保存定标结果
*************************************************************************/
Matrix<double> rotation_vector(3,1); /* 保存每幅图像的旋转向量 */
Matrix<double> rotation_matrix(3,3); /* 保存每幅图像的旋转矩阵 */
fout<<"相机内参数矩阵：\n";
fout<<intrinsic_matrix<<'\n';
fout<<"畸变系数：\n";
fout<<distortion_coeffs<<'\n';
// fout1<<"相机内参数矩阵：\n";
// fout1<<intrinsic_matrix<<'\n';
// fout1<<"畸变系数：\n";
fout1<<distortion_coeffs<<'\n';
fout2<<intrinsic_matrix<<'\n';
for (i=0;i<sucesses;i++)
{
fout<<"第"<<i+1<<"幅图像的旋转向量：\n";
fout<<rotation_vectors.get_col(i);
/* 对旋转向量进行存储格式转换 */
for (j=0;j<3;j++)
{
rotation_vector(j,0,0) = rotation_vectors(0,i,j);
}
/* 将旋转向量转换为相对应的旋转矩阵 */
cvRodrigues2(rotation_vector.cvmat,rotation_matrix.cvmat);
fout<<"第"<<i+1<<"幅图像的旋转矩阵：\n";
fout<<rotation_matrix;
fout<<"第"<<i+1<<"幅图像的平移向量：\n";
fout<<translation_vectors.get_col(i)<<'\n';
}
}
以上代码是将所保存的图片，计算出摄像机内外参数，并将结果保存在txt文件中，这主要方便后续将结果显示在编辑框中。还有一点，虽然将标定结果存入了txt文件中，但是若想在上述代码中直接实现将标定结果显示在编辑框中，是不可能的，你会发现编辑框中将出现乱码（烫烫烫烫烫烫烫烫烫烫烫），解决方法是另写一个button控件，究其原因是windows未将标定结果写入外存，只是存入缓冲区中，故你将在txt文件中看不到任何结果，但若关闭VC6.0，结果将出现在txt文本中。
接下来就是将标定结果显示在编辑框中。
void CImageShowDlg::OnReadIntrinsic()
{
// TODO: Add your control notification handler code here
CFileDialog fileDlg(TRUE);
CString str;
CFile f; wo
f.Open("caliberation_result.txt",CFile::modeReadWrite);
f.Read(str.GetBuffer(f.GetLength()),f.GetLength());
f.Close();
GetDlgItem(IDC_INTRINSIC )->SetWindowText( str);
}
以上就是我对相机标定的理解
本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。
