1.前言
“以图搜图”的引擎,之前很好奇他们是如何进行检索的,偶然间看到了一篇博客,上面说Google和Tineye主要利用的算法是感知哈希算法(Perceptual hash algorithm),它的作用是对每张图片生成一个"指纹"(fingerprint)字符串,然后比较不同图片的指纹。结果越接近,就说明图片越相似,里面介绍的原理也比较简单,正好目前也在做图像检索方面的课题,就用OpenCV实现了一下,供大家参考,本篇博文主要介绍如何通过OpenCV实现均值Hash和pHash算法,基本原理和流程会在代码的注释中详细说明。
2.均值Hash算法
//均值Hash算法
string HashValue(Mat &src)
{
string rst(64,'\0');
Mat img;
if(src.channels()==3)
cvtColor(src,img,CV_BGR2GRAY);
else
img=src.clone();
/*第一步,缩小尺寸。
将图片缩小到8x8的尺寸,总共64个像素。这一步的作用是去除图片的细节,
只保留结构、明暗等基本信息,摒弃不同尺寸、比例带来的图片差异。*/
resize(img,img,Size(8,8));//缩小尺寸
/* 第二步,简化色彩。
将缩小后的图片,转为64级灰度。也就是说,所有像素点总共只有64种颜色。*/
uchar *pData;
for(int i=0;i<img.rows;i++)
{
pData = img.ptr<uchar>(i);
for(int j=0;j<img.cols;j++)
{
pData[j]=pData[j]/4; //0~255--->0~63
}
}
/* 第三步,计算平均值。
计算所有64个像素的灰度平均值。*/
int average = mean(img).val[0];
/* 第四步,比较像素的灰度。
将每个像素的灰度,与平均值进行比较。大于或等于平均值记为1,小于平均值记为0*/
Mat mask= (img>=(uchar)average);
/* 第五步,计算哈希值。*/
int index = 0;
for(int i=0;i<mask.rows;i++)
{
pData = mask.ptr<uchar>(i);
for(int j=0;j<mask.cols;j++)
{
if(pData[j]==0)
rst[index++]='0';
else
rst[index++]='1';
}
}
return rst;
}
3.pHash算法
//pHash算法
string pHashValue(Mat &src)
{
Mat img ,dst;
string rst(64,'\0');
double dIdex[64];
double mean = 0.0;
int k = 0;
if(src.channels()==3)
{
cvtColor(src,src,CV_BGR2GRAY);
img = Mat_<double>(src);
}
else
{
img = Mat_<double>(src);
}
/* 第一步,缩放尺寸,可以为Size(32,32)或Size(8,8),也可以更高,主要是为了提高计算效率*/
resize(img, img, Size(32,32));
/* 第二步,离散余弦变换,DCT系数求取*/
dct(img, dst);
/* 第三步,求取DCT系数均值(左上角8*8区块的DCT系数)*/
for (int i = 0; i < 8; ++i) {
for (int j = 0; j < 8; ++j)
{
dIdex[k] = dst.at<double>(i, j);
mean += dst.at<double>(i, j)/64;
++k;
}
}
/* 第四步,计算哈希值。*/
for (int i =0;i<64;++i)
{
if (dIdex[i]>=mean)
{
rst[i]='1';
}
else
{
rst[i]='0';
}
}
return rst;
}
4.汉明距离计算
通过上面两段代码就可以计算出图像的Hash值,检索的时候一般采用汉明距离来进行判断两幅图像的相似性,一般情况下认为汉明距离小于5,就可以认为两幅图像时相似的。汉明具体计算实现:
/汉明距离计算
int HanmingDistance(string &str1,string &str2)
{
if((str1.size()!=64)||(str2.size()!=64))
return -1;
int difference = 0;
for(int i=0;i<64;i++)
{
if(str1[i]!=str2[i])
difference++;
}
return difference;
}
5.算法性能测试
为了验证该算法的性能,我进行了一些简单的测试,发现非等比例的图像缩放对均值Hash算法的性能有很大影响,如我进行测试的图像时640*480的,当我将其缩放为100*100时,两幅图像之间的汉明距离为28,两幅图像的Hash值相差较大,这说明非等比例的图像缩放会会使得基于均值Hash算法的图像检索出现错误,而pHash算法则在计算汉明距离后为4,这说明pHash算法对尺度的变化的鲁棒性强于均值Hash算法。
接下来我又对其对旋转的鲁棒性进行了一定的测试,测试图像如下所示
img1 img2
img3 img4
均值Hash算法测试结果:
pHash算法测试结果:
从测试结果中可以看出无论是均值Hash算法还是pHash算法,对旋转都不具有鲁棒性,只是pHash算法相对来说好一些, 一个真正的可商用的“以图搜图”引擎, 仍然需要对其进行改进,类似于原文中说的一样,如果不对其进行改进,目前只能由于以缩略图查找原图的情况。