opencv 棋盘格 知乎 opencv生成棋盘格

文章目录

• 1. 使用 Matlab 进行相机标定

• 1.1 原理推导
• 1.2 标定图资源下载
• 1.3 使用matlab 工具箱camera calibrator 流程

• 2. 使用 OpenCV 进行相机标定

• 2.1 配置 Open CV库
• 参考资料

首先关于校正的基本知识通过OpenCV官网的介绍即可简单了解：

http://docs.opencv.org/2.4/doc/tutorials/calib3d/camera_calibration/camera_calibration.html

对于摄像机我们所关心的主要参数为摄像机内参，以及几个畸变系数。

1. 使用 Matlab 进行相机标定

1.1 原理推导

相机标定原理推导可参考：一文详解相机标定算法原理 推导过程很详细

1.2 标定图资源下载

标定板

两种方法，直接从opencv官网上能下载到：
方案一: http://docs.opencv.org/2.4/_downloads/pattern.png方案啊二：matlab生成

J = (checkerboard(300,4,5)>0.5);
figure, imshow(J);

1.3 使用matlab 工具箱camera calibrator 流程

1.打开APP 工具，选择camera calibrator

2. 导入标定图片,直接全选图片，全部导入

填写棋盘格每个格子边长的真实值 Size of checkerboard square表示棋盘格中一个格子的尺寸，默认为25mm×25mm，需要根据自己所用棋盘格图案的实际尺寸修改；

总图像14张，添加7张， 添加失败7张，添加失败的原因可能是图像较远无法清晰识别出棋盘格，单击view images可查看为被添加进去的图像；

3. 开始分析计算

径向畸变选择3个系数（即Radial Distortion下选择3 Coefficients），勾选Skew，Tangential Distortior；

然后单击Calibrate进行标定

4. 结果如下

右上角Reprojection Errors显示重投影误差，右下角可切换视图（以相机为中心或以图像为中心）

5. 导出相机参数

单击Export Camera Parameters可将相机参数导出,可在工作空间查看导出结果

双击cameraParams即可看到相机各项参数 （这里我双击没点开，点开了属性检查器 😦)

在命令行中键入变量名也可查看

cameraParams.IntrinsicMatrix
 %可直接得到相机内参矩阵

 cameraParams.RadialDistortion
 %径向畸变参数,对应k1,k2,k3
 cameraParams.TangentialDistortion
 %切向畸变参数,对应p1，p2

内参对应

2. 使用 OpenCV 进行相机标定

2.1 配置 Open CV库

VSCode搭建OpenCV的c++环境（windows10）

代码如下

#include "opencv2/core/core.hpp"
#include "opencv2/imgproc/imgproc.hpp"
#include "opencv2/calib3d/calib3d.hpp"
#include "opencv2/highgui/highgui.hpp"
#include <iostream>
#include <fstream>

using namespace cv;
using namespace std;

void main() 
{
	ifstream fin("calibdata.txt"); /* 标定所用图像文件的路径 */
	ofstream fout("caliberation_result.txt");  /* 保存标定结果的文件 */	
	//读取每一幅图像，从中提取出角点，然后对角点进行亚像素精确化	
	cout<<"开始提取角点………………";
	int image_count=0;  /* 图像数量 */
	Size image_size;  /* 图像的尺寸 */
	Size board_size = Size(4,6);    /* 标定板上每行、列的角点数 */
	vector<Point2f> image_points_buf;  /* 缓存每幅图像上检测到的角点 */
	vector<vector<Point2f>> image_points_seq; /* 保存检测到的所有角点 */
	string filename;
	int count= -1 ;//用于存储角点个数。
	while (getline(fin,filename))
	{
		image_count++;		
		// 用于观察检验输出
		cout<<"image_count = "<<image_count<<endl;		
		/* 输出检验*/
		cout<<"-->count = "<<count;		
		Mat imageInput=imread(filename);
		if (image_count == 1)  //读入第一张图片时获取图像宽高信息
		{
			image_size.width = imageInput.cols;
			image_size.height =imageInput.rows;			
			cout<<"image_size.width = "<<image_size.width<<endl;
			cout<<"image_size.height = "<<image_size.height<<endl;
		}

		/* 提取角点 */
		if (0 == findChessboardCorners(imageInput,board_size,image_points_buf))
		{			
			cout<<"can not find chessboard corners!\n"; //找不到角点
			exit(1);
		} 
		else 
		{
			Mat view_gray;
			cvtColor(imageInput,view_gray,CV_RGB2GRAY);
			/* 亚像素精确化 */
			find4QuadCornerSubpix(view_gray,image_points_buf,Size(5,5)); //对粗提取的角点进行精确化
			image_points_seq.push_back(image_points_buf);  //保存亚像素角点
			/* 在图像上显示角点位置 */
			drawChessboardCorners(view_gray,board_size,image_points_buf,true); //用于在图片中标记角点
			imshow("Camera Calibration",view_gray);//显示图片
			waitKey(500);//暂停0.5S		
		}
	}
	int total = image_points_seq.size();
	cout<<"total = "<<total<<endl;
	int CornerNum=board_size.width*board_size.height;  //每张图片上总的角点数
	for (int ii=0 ; ii<total ;ii++)
	{
		if (0 == ii%CornerNum)// 24 是每幅图片的角点个数。此判断语句是为了输出 图片号，便于控制台观看 
		{	
			int i = -1;
			i = ii/CornerNum;
			int j=i+1;
			cout<<"--> 第 "<<j <<"图片的数据 --> : "<<endl;
		}
		if (0 == ii%3)	// 此判断语句，格式化输出，便于控制台查看
		{
			cout<<endl;
		}
		else
		{
			cout.width(10);
		}
		//输出所有的角点
		cout<<" -->"<<image_points_seq[ii][0].x;
		cout<<" -->"<<image_points_seq[ii][0].y;
	}	
	cout<<"角点提取完成！\n";

	//以下是摄像机标定
	cout<<"开始标定………………";
	/*棋盘三维信息*/
	Size square_size = Size(10,10);  /* 实际测量得到的标定板上每个棋盘格的大小 */
	vector<vector<Point3f>> object_points; /* 保存标定板上角点的三维坐标 */
	/*内外参数*/
	Mat cameraMatrix=Mat(3,3,CV_32FC1,Scalar::all(0)); /* 摄像机内参数矩阵 */
	vector<int> point_counts;  // 每幅图像中角点的数量
	Mat distCoeffs=Mat(1,5,CV_32FC1,Scalar::all(0)); /* 摄像机的5个畸变系数：k1,k2,p1,p2,k3 */
	vector<Mat> tvecsMat;  /* 每幅图像的旋转向量 */
	vector<Mat> rvecsMat; /* 每幅图像的平移向量 */
	/* 初始化标定板上角点的三维坐标 */
	int i,j,t;
	for (t=0;t<image_count;t++) 
	{
		vector<Point3f> tempPointSet;
		for (i=0;i<board_size.height;i++) 
		{
			for (j=0;j<board_size.width;j++) 
			{
				Point3f realPoint;
				/* 假设标定板放在世界坐标系中z=0的平面上 */
				realPoint.x = i*square_size.width;
				realPoint.y = j*square_size.height;
				realPoint.z = 0;
				tempPointSet.push_back(realPoint);
			}
		}
		object_points.push_back(tempPointSet);
	}
	/* 初始化每幅图像中的角点数量，假定每幅图像中都可以看到完整的标定板 */
	for (i=0;i<image_count;i++)
	{
		point_counts.push_back(board_size.width*board_size.height);
	}	
	/* 开始标定 */
	calibrateCamera(object_points,image_points_seq,image_size,cameraMatrix,distCoeffs,rvecsMat,tvecsMat,0);
	cout<<"标定完成！\n";
	//对标定结果进行评价
	cout<<"开始评价标定结果………………\n";
	double total_err = 0.0; /* 所有图像的平均误差的总和 */
	double err = 0.0; /* 每幅图像的平均误差 */
	vector<Point2f> image_points2; /* 保存重新计算得到的投影点 */
	cout<<"\t每幅图像的标定误差：\n";
	fout<<"每幅图像的标定误差：\n";
	for (i=0;i<image_count;i++)
	{
		vector<Point3f> tempPointSet=object_points[i];
		/* 通过得到的摄像机内外参数，对空间的三维点进行重新投影计算，得到新的投影点 */
		projectPoints(tempPointSet,rvecsMat[i],tvecsMat[i],cameraMatrix,distCoeffs,image_points2);
		/* 计算新的投影点和旧的投影点之间的误差*/
		vector<Point2f> tempImagePoint = image_points_seq[i];
		Mat tempImagePointMat = Mat(1,tempImagePoint.size(),CV_32FC2);
		Mat image_points2Mat = Mat(1,image_points2.size(), CV_32FC2);
		for (int j = 0 ; j < tempImagePoint.size(); j++)
		{
			image_points2Mat.at<Vec2f>(0,j) = Vec2f(image_points2[j].x, image_points2[j].y);
			tempImagePointMat.at<Vec2f>(0,j) = Vec2f(tempImagePoint[j].x, tempImagePoint[j].y);
		}
		err = norm(image_points2Mat, tempImagePointMat, NORM_L2);
		total_err += err/=  point_counts[i];   
		std::cout<<"第"<<i+1<<"幅图像的平均误差："<<err<<"像素"<<endl;   
		fout<<"第"<<i+1<<"幅图像的平均误差："<<err<<"像素"<<endl;   
	}   
	std::cout<<"总体平均误差："<<total_err/image_count<<"像素"<<endl;   
	fout<<"总体平均误差："<<total_err/image_count<<"像素"<<endl<<endl;   
	std::cout<<"评价完成！"<<endl;  
	//保存定标结果  	
	std::cout<<"开始保存定标结果………………"<<endl;       
	Mat rotation_matrix = Mat(3,3,CV_32FC1, Scalar::all(0)); /* 保存每幅图像的旋转矩阵 */
	fout<<"相机内参数矩阵："<<endl;   
	fout<<cameraMatrix<<endl<<endl;   
	fout<<"畸变系数：\n";   
	fout<<distCoeffs<<endl<<endl<<endl;   
	for (int i=0; i<image_count; i++) 
	{ 
		fout<<"第"<<i+1<<"幅图像的旋转向量："<<endl;   
		fout<<tvecsMat[i]<<endl;   
		/* 将旋转向量转换为相对应的旋转矩阵 */   
		Rodrigues(tvecsMat[i],rotation_matrix);   
		fout<<"第"<<i+1<<"幅图像的旋转矩阵："<<endl;   
		fout<<rotation_matrix<<endl;   
		fout<<"第"<<i+1<<"幅图像的平移向量："<<endl;   
		fout<<rvecsMat[i]<<endl<<endl;   
	}   
	std::cout<<"完成保存"<<endl; 
	fout<<endl;
	/************************************************************************  
           显示定标结果  
    *************************************************************************/
 	Mat mapx = Mat(image_size,CV_32FC1);
 	Mat mapy = Mat(image_size,CV_32FC1);
 	Mat R = Mat::eye(3,3,CV_32F);
 	std::cout<<"保存矫正图像"<<endl;
 	string imageFileName;
 	std::stringstream StrStm;
 	for (int i = 0 ; i != image_count ; i++)
 	{
 		std::cout<<"Frame #"<<i+1<<"..."<<endl;
		initUndistortRectifyMap(cameraMatrix,distCoeffs,R,cameraMatrix,image_size,CV_32FC1,mapx,mapy);		
 		StrStm.clear();
 		imageFileName.clear();
		string filePath="chess";
 		StrStm<<i+1;
 		StrStm>>imageFileName;
		filePath+=imageFileName;
		filePath+=".bmp";
 		Mat imageSource = imread(filePath);
 		Mat newimage = imageSource.clone();
		//另一种不需要转换矩阵的方式
		//undistort(imageSource,newimage,cameraMatrix,distCoeffs);
 		remap(imageSource,newimage,mapx, mapy, INTER_LINEAR);
		imshow("原始图像",imageSource);
		imshow("矫正后图像",newimage);
		waitKey();
 		StrStm.clear();
 		filePath.clear();
 		StrStm<<i+1;
 		StrStm>>imageFileName;
 		imageFileName += "_d.jpg";
 		imwrite(imageFileName,newimage);
 	}
 	std::cout<<"保存结束"<<endl;	
	return ;
}

参考资料

1. MATLAB/OpenCV–基于棋盘格/对称圆点/非对称圆点–相机标定教程
2. MATLAB–相机标定教程
3. 张正友相机标定Opencv实现（完整程序+棋盘图）实例源码
4. 【OpenCV】摄像机标定+畸变校正