使用Qt+OpenCV自己写了一个带旋转角度的NCC灰度模板匹配算子以及它的演示软件。算子的原理是基于NCC灰度匹配。
一、什么是NCC匹配
1、基于Normalized cross correlation(NCC:归一化互相关)用来比较两幅图像的相似程度已经是一个常见的图像处理手段。在工业生产环节检测、监控领域对对象检测与识别均有应用。NCC算法可以有效降低光照对图像比较结果的影响。而且NCC最终结果在0到1之间,所以特别容易量化比较结果,只要给出一个阈值就可以判断结果的好与坏。
2、在opencv代码中,matchTemplate函数里面有个方法是cv::TM_CCOEFF_NORMED,它实现了NCC算子。CCOEFF的英文全称是:Correlation Coefficient,中文译为相关系数;NORMED是归一化的意思。但是该函数本身是不支持旋转角度和金字塔分级的,所以需要自己实现这些功能。matchTemplate函数保存在源码文件imgproc文件夹下的templmatch.cpp中。
https://github.com/opencv/opencv/blob/2.2/modules/imgproc/src/templmatch.cpp
https://github.com/opencv/opencv/blob/2.4.13.7/modules/imgproc/src/templmatch.cpp
https://github.com/opencv/opencv/blob/3.4.18/modules/imgproc/src/templmatch.cpphttps://github.com/opencv/opencv/blob/4.5.5/modules/imgproc/src/templmatch.cpp
建议:看v2.x的源码,比较精简。从v3.x开始新增了mask参数。
3、 matchTemplate函数各个方法的计算公式如下:
请重点关注NCC算子的计算方式cv::TM_CCOEFF_NORMED。公式摘录自书籍《学习OpenCV 3》第13章,模板匹配。
此外,OPenCV官方网站的文档也提供了公式说明:
https://docs.opencv.org/3.4.18/df/dfb/group__imgproc__object.html
v4.6.0版本的文档更详细,还新增了参数Mask的说明:
https://docs.opencv.org/4.6.0/df/dfb/group__imgproc__object.html
那么,公式里的T和I分别是什么意思?
T 代表模板图像(w,h),I 代表待匹配图像(W,H)。
R 代表输出的结果矩阵,大小为 (W-w+1)x(H-h+1)。
(x,y)代表结果矩阵的每个元素的坐标。
(x',y')代表模板矩阵的每个元素的坐标。
4、从OpenCV源码matchTemplate函数得出,在进行每种方法计算的时候,并不是直接在空间域操作,而是在crossCorr函数中,将输入图像做了一次DFT变换(即傅里叶变换),将空间域的图像转换到频率域中来进行处理,这也解释了OpenCV代码的高效性原因。
void crossCorr( const Mat& img, const Mat& _templ, Mat& corr, Point anchor, double delta, int borderType )
其实,crossCorr函数计算的结果就是TM_CCORR的方法的计算结果,求两个矩阵的卷积。
TM_CCORR公式
OpenCV源码在执行完成crossCorr()函数之后,会继续调用:
static void common_matchTemplate( Mat& img, Mat& templ, Mat& result, int method, int cn )
所有方法都是基于crossCorr得到的结果矩阵的基础,再继续计算下去的。
TM_SQDIFF公式可以展开
TM_CCOEFF公式可以展开
其中 sum(I) 为源图像中模板图像对应区域的和,mean(T) 是模板图像的均值。
TM_CCOEFF_NORMED的分母
其中 σ 2为模板图像的方差,N,M 分别是模板图像的宽和高。
一句话总结:
OpenCV源码没有按照前面提到的公式来计算,而是采用了傅里叶变换,目的是加快运算速度。
其实傅里叶变换仍然不是最快的方法,计算卷积最快的方法是SIMD。
5、如果不想使用傅里叶变换(不想在频域计算),而是直接在空间域计算,那么按照CV_TM_SQDIFF公式,我们来计算
resultImage是结果矩阵R
templateImage是模板矩阵T
srcImage是原图矩阵I
(x,y)代表结果矩阵的每个元素的坐标。
(x',y')代表模板矩阵的每个元素的坐标。
for (int resultImageRow = 0; resultImageRow < resultImage_rows; resultImageRow++)
{
for (int resultImageCol = 0; resultImageCol < resultImage_cols; resultImageCol++)
{
int sum = 0;
short int temp = 0;
for (int templateImageRow = 0; templateImageRow < templateImage_rows; templateImageRow++)
{
for (int templateImageCol = 0; templateImageCol < templateImage_cols; templateImageCol++)
{
temp = templateImage.ptr<uchar>(templateImageRow)[templateImageCol] - srcImage.ptr<uchar>(resultImageRow + templateImageRow)[templateImageCol + resultImageCol];
sum += temp * temp;
}
}
resultImage.ptr<int>(resultImageRow)[resultImageCol] = sum;
}
}
TM_CCORR公式,直接在空间域计算
int* resultImagePtr;
uchar* srcImagePtr;
uchar* templateImagePtr;
for (int resultImageRow = 0; resultImageRow < resultImage_rows; resultImageRow++)
{
resultImagePtr = resultImage.ptr<int>(resultImageRow);
for (int resultImageCol = 0; resultImageCol < resultImage_cols; resultImageCol++)
{
int sum = 0;
short int temp = 0;
for (int templateImageRow = 0; templateImageRow < templateImage_rows; templateImageRow++)
{
srcImagePtr = srcImage.ptr<uchar>(resultImageRow + templateImageRow) + resultImageCol;
templateImagePtr = templateImage.ptr<uchar>(templateImageRow);
for (int templateImageCol = 0; templateImageCol < templateImage_cols; templateImageCol++)
{
temp1 = *(srcImagePtr++);
temp2 = *(templateImagePtr++);
sum += temp1 * temp2;
}
}
*(resultImagePtr++) = sum;
}
}
二、该演示软件实现的主要功能:
未使用商业图像处理库,而是纯粹Qt+OpenCV
1、NCC匹配
2、金字塔
3、最大重叠率
4、旋转角度
5、匹配分数
6、不支持缩放
7、模板文件读写
8、ROI框选功能,人机交互
三、部分头文件
创建模板,对照学习halcon的算子create_ncc_model
查找物体,对照学习halcon的算子find_ncc_model
#ifndef CNCCMATCH_H
#define CNCCMATCH_H
#include "nccmodelid.h"
#include "result.h"
class VISIONCORE_EXPORT CNccMatch
{
public:
CNccMatch();
virtual ~CNccMatch();
public:
void createNccModel(const cv::Mat &imageModel, int numLevels, double angleStart, double angleExtent, double angleStep, CNCCModelID &modelID);
void findNccModel(const cv::Mat &imageSearch, const CNCCModelID &modelID, double angleStart, double angleExtent, double minScore, int numMatches, double maxOverlap, int numLevels,
std::vector<int> &vtRow, std::vector<int> &vtColumn, std::vector<double> &vtAngle, std::vector<double> &vtScore);
private:
void multipleMaxLoc(const cv::Mat &image, double minScore, int numMatches, std::vector<cv::Point> &vtLocations, std::vector<double> &vtMaxima);
void imageRotate(cv::Mat &imageSrc, double angle, cv::Mat &imageDst, cv::Mat &mask);
void clusterAnalyze(const std::vector<SMatchResult> &vtSrc, std::vector<SMatchResult> &vtDst, double disThreshold = 10);
void nmsMatchesRotatedRect(const std::vector<SMatchResult> &vtSrc, const cv::Size &modelsize, std::vector<SMatchResult> &vtDst, double maxOverlap);
void nmsMatchesRect(const std::vector<SMatchResult> &vtSrc, std::vector<SMatchResult> &vtDst, double maxOverlap);
};
#endif // CNCCMATCH_H
四、演示软件截图
未使用商业图像处理库,而是纯粹Qt+OpenCV
五、下一版的优化改进方向
1、模板积分图像实现预计算
2、CPU指令集的优化提速
六、bilibili视频教程
OpenCV中的模板匹配(二)源码对比_哔哩哔哩_bilibili
OpenCV中的模板匹配(七)相关性系数匹配_哔哩哔哩_bilibili
OpenCV中的模板匹配(八)归一化相关性系数匹配_哔哩哔哩_bilibili
X、引申知识点:NCC匹配与形状匹配的比较
create_ncc_model
find_ncc_model
read_ncc_model
write_ncc_model
clear_ncc_modelcreate_scaled_shape_model
find_scaled_shape_model
read_shape_model
write_shape_model
clear_shape_model
1、NCC匹配优点
纹理
对焦不清
形状轻微变形
2、形状匹配优点
精度高
支持X/Y 方向缩放
支持物体遮挡
支持多模板
支持非线性光照变化
3、他人写的git
GitHub - luosch/stereo-matching: stereo-matching using SSD, NCC and ASW
4、什么是模板匹配?
模板匹配就是在整个图像区域发现与给定图像最相似的小块区域,所以模板匹配首先需要一个模板图像,另外需要一个待检测图像:
在待检测图像上,从左到右,从上到下,计算模板图像与重叠子图像的匹配度(相似度),匹配度(相似度)越大,两者相同的可能性越大。
对于每一个位置将计算的相似结果保存在矩阵 R 中。如果输入图像的大小为 WxH 且模板图像的大小为 wxh,则输出矩阵R 的大小为 (W-w+1)x(H-h+1) 。
获得 R 后,从 R 中找出匹配度最高的位置,那么该位置对应的区域就是最匹配的,区域为以该点为顶点,长宽和模板图像一样大小的矩阵。)