首先说明一点,在SLAM中进行特征提取和匹配时,需要注意使用的OpenCV版本,在使用OpenCV2.x版本时,可以创建特征对象如下所示(省略了参数表):
ORB orb;
SURF surf;
SIFT sift;
orb.detect();
sift.detect();
surf.detect();
但是OpenCV3.X中就不允许这么做了,这是因为,opencv3.0直接使用 ORB orb时,ORB里面没有构造方法,只有一个静态的create。所以特征提取时,就只能使用以下方式:
Ptr orb=ORB::create()//参数表省略了,具体可查看官方文档,或者输入VS2015等IDE看智能提示;
下面重点说一下,DMatch类,在OpenCV2.x中Dmatch为结构体数据类型,在OpenCV3.x中为Class类型。在OpenCV3.x中的定义为:
class CV_EXPORTS_W_SIMPLE DMatch
{
public:
CV_WRAP DMatch();
CV_WRAP DMatch(int _queryIdx, int _trainIdx, float _distance);
CV_WRAP DMatch(int _queryIdx, int _trainIdx, int _imgIdx, float _distance);
CV_PROP_RW int queryIdx; // query descriptor index
CV_PROP_RW int trainIdx; // train descriptor index
CV_PROP_RW int imgIdx; // train image index
CV_PROP_RW float distance;
// less is better
bool operator<(const DMatch &m) const;
};
一个匹配器尝试在一副或一组图中匹配一幅图中的关键点,如果匹配成功,将返回 cv::DMatch 的列表,说人话:Dmatch对象保存的是匹配成功的结果,当然这个匹配结果里面包含了不少的误匹配。
成员说明:
queryIdx : 查询点的索引(当前要寻找匹配结果的点在它所在图片上的索引).
trainIdx : 被查询到的点的索引(存储库中的点的在存储库上的索引)
distance: 为两个描述子之间的距离
举个例子:下面给出提取ORB特征并进行匹配的过程(基于OpenCV3.2),以及DMatch对象的用法。下面使用的两张图盘我就不上传了,随便找一张图片,然后截图一部分当做另一张图片,一般而言,截图出来的那部分图片,当做第一张,也就是train,完整的是第二张也就是query。运行环境:VS2015+OpenCV3.2.0
#include <iostream>
#include "opencv2/opencv.hpp"
#include "opencv2/core/core.hpp"
#include "opencv2/features2d/features2d.hpp"
#include "opencv2/highgui/highgui.hpp"
using namespace cv;
using namespace std;
int main(int argc, char** argv)
{
Mat obj = imread("1.jpg"); //载入目标图像
Mat scene = imread("2.jpg"); //载入场景图像
if (obj.empty() || scene.empty())
{
cout << "Can't open the picture!\n";
return 0;
}
vector<KeyPoint> obj_keypoints, scene_keypoints;
Mat obj_descriptors, scene_descriptors;
//ORB detector; //采用ORB算法提取特征点
//ORB orb;
Ptr<ORB> detector = ORB::create(500, 1.2f, 8, 31, 0, 2, ORB::HARRIS_SCORE, 31, 20);
detector->detect(obj, obj_keypoints);
detector->detect(scene, scene_keypoints);
detector->compute(obj, obj_keypoints, obj_descriptors);
detector-> compute(scene, scene_keypoints, scene_descriptors);
BFMatcher matcher(NORM_HAMMING, true); //汉明距离做为相似度度量
//匹配结果放在matches里面
vector<DMatch> matches;
matcher.match(obj_descriptors, scene_descriptors, matches);//匹配成功的点对数为257,
//按照匹配关系将图画出来,背景图为match_img
Mat match_img;
drawMatches(obj, obj_keypoints, scene, scene_keypoints, matches, match_img);
imshow("滤除误匹配前", match_img);
//保存匹配对序号
vector<int> queryIdxs(matches.size()), trainIdxs(matches.size());
for (size_t i = 0; i < matches.size(); i++)
{
queryIdxs[i] = matches[i].queryIdx;//取出查询图片中匹配的点对的索引即id号;那么queryIdxs、trainIdxs都为257
trainIdxs[i] = matches[i].trainIdx;//取出训练图片中匹配的点对的索引即id号;
}
Mat H12; //变换矩阵
vector<Point2f> points1;
KeyPoint::convert(obj_keypoints, points1, queryIdxs);//KeyPoint根据索引转point2f坐标
vector<Point2f> points2;
KeyPoint::convert(scene_keypoints, points2, trainIdxs);//同上
int ransacReprojThreshold = 3; //拒绝阈值
cout << "matches size = " << matches.size() << endl;
H12 = findHomography(Mat(points1), Mat(points2), CV_RANSAC, ransacReprojThreshold);//计算单应矩阵
vector<char> matchesMask(matches.size(), 0);//用于内点标记使用
Mat points1t;
perspectiveTransform(Mat(points1), points1t, H12);//对输入二维点做透视变换,变换后的结果保存在points1t中
for (size_t i1 = 0; i1 < points1.size(); i1++) //保存‘内点’
{
if (norm(points2[i1] - points1t.at<Point2f>((int)i1, 0)) <= ransacReprojThreshold) //给内点做标记
{
matchesMask[i1] = 1;
}
}
Mat match_img2; //滤除‘外点’后
drawMatches(obj, obj_keypoints, scene, scene_keypoints, matches, match_img2, Scalar(0, 0, 255), Scalar::all(-1), matchesMask);
//画出目标位置
std::vector<Point2f> obj_corners(4);
obj_corners[0] = cvPoint(0, 0); obj_corners[1] = cvPoint(obj.cols, 0);
obj_corners[2] = cvPoint(obj.cols, obj.rows); obj_corners[3] = cvPoint(0, obj.rows);
std::vector<Point2f> scene_corners(4);
perspectiveTransform(obj_corners, scene_corners, H12);
line(match_img2, scene_corners[0] + Point2f(static_cast<float>(obj.cols), 0),
scene_corners[1] + Point2f(static_cast<float>(obj.cols), 0), Scalar(0, 0, 255), 2);
line(match_img2, scene_corners[1] + Point2f(static_cast<float>(obj.cols), 0),
scene_corners[2] + Point2f(static_cast<float>(obj.cols), 0), Scalar(0, 0, 255), 2);
line(match_img2, scene_corners[2] + Point2f(static_cast<float>(obj.cols), 0),
scene_corners[3] + Point2f(static_cast<float>(obj.cols), 0), Scalar(0, 0, 255), 2);
line(match_img2, scene_corners[3] + Point2f(static_cast<float>(obj.cols), 0),
scene_corners[0] + Point2f(static_cast<float>(obj.cols), 0), Scalar(0, 0, 255), 2);
imshow("滤除误匹配后", match_img2);
waitKey(0);
return 0;
}
本身对上述代码中Dmatch理解并不透彻,于是进行了单步调试:
运行至43行时,结果如下:
看出两幅图的匹配点对数为257对:第一对匹配点为:查询图片的第1个特征点匹配训练图片的第231个特征点,4-264,5-307,7-92,等等等等。
这样就可以取出匹配点对的id,继而进行下一步操作。
有需要的话,再继续讲下去。