人脸对比是现在比较常用的功能,比如出租车司机人脸与司机驾照照片对比,门禁系统中进入者的人脸与人脸库中的人脸进行对比。要实现人脸对比,首先要实现的是人脸检测,在摄像头拍摄到的一张图片中,正确的检测到人脸的位置,并且将人脸提取出来。考虑到免费开源,OpenCV 就可以很好的实现这个功能。OpenCVC 在linux 的安装可以
(一)人脸检测的实现:
下面的代码由OpenCVC实例改进而来,它能够实现人脸检测和人眼睛的检测,将检测到的结果用圆圈圈出来。代码如下:
/*=============================================================================
# FileName: facecheck.cpp
# Desc: detect faces and eyes by opencv ,and then cut the face
# Author: Licaibiao
# Version:
# LastChange: 2017-10-31
# History:
=============================================================================*/
#include <opencv2/objdetect/objdetect.hpp>
#include <opencv2/highgui/highgui.hpp>
#include <opencv2/imgproc/imgproc.hpp>
#include <iostream>
#include <stdio.h>
using namespace std;
using namespace cv;
#define CASCADENAME "./modle/haarcascade_frontalface_alt2.xml"
#define NESTEDCASCADENAME "./modle/haarcascade_eye_tree_eyeglasses.xml"
#define FACEPHOTO_FACENAME "./image/result.jpg"
#define DETECT_IMAGE "./image/001.jpg"
void detectAndDraw( Mat& img, CascadeClassifier& cascade,
CascadeClassifier& nestedCascade, double scale, bool tryflip )
{
double t = 0;
vector<Rect> faces, faces2;
/* 定义七种颜色用于人脸标记 */
const static Scalar colors[] =
{
Scalar(255,0,0),
Scalar(255,128,0),
Scalar(255,255,0),
Scalar(0,255,0),
Scalar(0,128,255),
Scalar(0,255,255),
Scalar(0,0,255),
Scalar(255,0,255)
};
Mat gray, smallImg;
/* 因为用的是类haar特征,所以都是基于灰度图像的,这里要转换成灰度图像 */
cvtColor( img, gray, COLOR_BGR2GRAY );
/* 将图片缩小,加快检测速度 */
double fx = 1 / scale;
/* 将尺寸缩小到1/scale, 用线性插值 */
resize( gray, smallImg, Size(), fx, fx, INTER_LINEAR );
/* 直方图均衡 */
equalizeHist( smallImg, smallImg );
/* 用来计算算法执行时间 */
t = (double)getTickCount();
/*人脸检测
smallImg:输入的原图
faces :表示检测到的人脸目标序列
1.1 :每次图像尺寸减小的比例为1.1
2 :每一个目标至少要被检测到3次才算是真的目标
CV_HAAR_SCALE_IMAGE:表示不是缩放分类器来检测,而是缩放图像
Size(30, 30) 目标的最大最小尺寸
*/
cascade.detectMultiScale( smallImg, faces, 1.1, 2, CASCADE_SCALE_IMAGE, Size(30, 30) );
if( tryflip )
{
flip(smallImg, smallImg, 1);
cascade.detectMultiScale( smallImg, faces2,1.1, 2, 0|CASCADE_SCALE_IMAGE,Size(30, 30) );
for( vector<Rect>::const_iterator r = faces2.begin(); r != faces2.end(); ++r )
{
faces.push_back(Rect(smallImg.cols - r->x - r->width, r->y, r->width, r->height));
}
}
/* 相减为算法执行的时间 */
t = (double)getTickCount() - t;
printf( "detection time = %g ms\n", t*1000/getTickFrequency());
for ( size_t i = 0; i < faces.size(); i++ )
{
Rect r = faces[i];
Mat smallImgROI;
vector<Rect> nestedObjects;
Point center;
Scalar color = colors[i%8];
int radius;
/* 人脸长宽比例,在0.75-1.3 间画圆,其他范围画矩形 */
double aspect_ratio = (double)r.width/r.height;
if( 0.75 < aspect_ratio && aspect_ratio < 1.3 )
{
/*还原原来尺寸 计算圆心和圆半径 */
center.x = cvRound((r.x + r.width*0.5)*scale);
center.y = cvRound((r.y + r.height*0.5)*scale);
radius = cvRound((r.width + r.height)*0.25*scale);
/* 画出人脸检测区域 画圆 */
circle( img, center, radius, color, 3, 8, 0 );
}
else
{
/* 画出检测区域,画矩形 */
rectangle( img, cvPoint(cvRound(r.x*scale), cvRound(r.y*scale)),
cvPoint(cvRound((r.x + r.width-1)*scale), cvRound((r.y + r.height-1)*scale)), color, 3, 8, 0);
}
/* 检测到人眼,在人脸上画出人眼 */
if( nestedCascade.empty())
{
continue;
}
smallImgROI = smallImg( r );
/* 人眼检测 */
nestedCascade.detectMultiScale( smallImgROI, nestedObjects, 1.1, 2, CASCADE_SCALE_IMAGE, Size(30, 30) );
for ( size_t j = 0; j < nestedObjects.size(); j++ )
{
Rect nr = nestedObjects[j];
/*还原原来尺寸 计算圆心和圆半径 */
center.x = cvRound((r.x + nr.x + nr.width*0.5)*scale);
center.y = cvRound((r.y + nr.y + nr.height*0.5)*scale);
radius = cvRound((nr.width + nr.height)*0.25*scale);
/* 画出人眼检测区域 画圆*/
circle( img, center, radius, color, 3, 8, 0 );
}
}
/* 显示图像 img */
imshow( "result", img );
}
int main( int argc, const char** argv )
{
Mat frame, image;
bool tryflip;
CascadeClassifier cascade, nestedCascade;
double scale = 1.3;
/* 加载分类器 */
if ( !nestedCascade.load( NESTEDCASCADENAME ) )
{
cerr << "WARNING: Could not load classifier cascade for nested objects" << endl;
}
if( !cascade.load( CASCADENAME ) )
{
cerr << "ERROR: Could not load classifier cascade" << endl;
return -1;
}
/* 加载图片 */
image = imread(DETECT_IMAGE, 1 );
if(image.empty())
{
cout << "Couldn't read iamge" << DETECT_IMAGE << endl;
}
cout << "Detecting face(s) in " << DETECT_IMAGE << endl;
/* 检测人脸及眼睛并画出检测到的区域 */
if( !image.empty() )
{
detectAndDraw( image, cascade, nestedCascade, scale, tryflip );
waitKey(0);
}
return 0;
}
要编译运行上面的代码需要注意几个地方
(1)haarcascade_frontalface_alt2.xml 和haarcascade_eye_tree_eyeglasses.xml 是opencv 中提供的文件。
(2)由于opencv源码安装的时候需要下载一些文件,网速慢的地方安装容易失败。如果使用sudo apt-get install libopencv-dev python-opencv 命令直接安装的,编译的时候需要带参数`pkg-config --cflags --libs opencv`
编译运行结果:
licaibiao@ubuntu:~/OpenCV/FaceTest$ make DetectDraw
g++ FaceDetect_Draw.cpp -o TestDetectDraw `pkg-config --cflags --libs opencv`
licaibiao@ubuntu:~/OpenCV/FaceTest$ ls
FaceCheck.cpp FaceCheck_Draw.cpp FaceDetect.cpp FaceDetect_Draw.cpp image Makefile modle out TestDetectDraw
licaibiao@ubuntu:~/OpenCV/FaceTest$ ./TestDetectDraw
Detecting face(s) in ./image/001.jpg
detection time = 423.166 ms
实际检测效果如下:
上面是比较正常的一张图片,人脸明显,图片背景比较的干净,所以检测出来的人脸和人的眼睛都是正确的。尝试换一张比较复杂的图片,它的检测功能就没有那么的好了。同样的代码,同样的训练文件,结果如下:
从上图可以看出可以检测到人脸,但没有全部检测出来,同时还有好几个是误判的。从这里可以看出,使用Opencv原始的训练文件做人脸检测,可以检测到人脸,但是检测的效果并不是很好。
在实际的使用OpenCVC做人脸检测的时候,为了提高识别率,可以通过检测到人脸再检测判断是否有人眼睛来加以判断。如果是在嵌入式设备中,还是不建议使用OpenCV来做人脸检测和人脸抠图这样的处理。一是OpenCV依赖的文件比较多,需要比较大的存储空间来放库文件和训练文件。二十它的检测效果并不是很好。
接下来将介绍MTCNN,这也是一套开源的人脸识别代码,全用C和C++编写,代码量小,检测效果好,下一篇介绍。
这一张的测试代码可以在这里
里面有一套在可以在海思开发板上跑的和一些在PC机测试测代码,比较乱没有整理,有需要的可以参考一下,使用代码前需要在电脑上正确安装OpenCV。
licaibiao@ubuntu:~/OpenCV$ tree -L 2
.
├── arm_test
│ ├── 001.jpg
│ ├── example.cpp
│ ├── haarcascade_eye_tree_eyeglasses.xml
│ ├── haarcascade_frontalface_alt2.xml
│ ├── include
│ ├── lib
│ ├── Makefile
│ ├── OpencvFaceAPI.cpp
│ ├── OpencvFaceAPI.h
│ └── OpencvTestMain.cpp
├── face_test
│ ├── detect.cpp
│ ├── example_1.cpp
│ ├── example.cpp
│ ├── example.cpp_ok
│ ├── face_detect1.cpp
│ ├── face_detect.cpp
│ ├── facedetect.cpp
│ ├── haarcascade_eye_tree_eyeglasses.xml
│ ├── haarcascade_eye.xml
│ ├── haarcascade_frontalface_alt2.xml
│ ├── haarcascade_frontalface_default.xml
│ ├── Makefile
│ ├── run.sh
│ └── test
└── FaceTest
├── FaceCheck.cpp
├── FaceCheck_Draw.cpp
├── FaceDetect.cpp
├── FaceDetect_Draw.cpp
├── image
├── Makefile
├── modle
├── out
└── TestDetectDraw
8 directories, 28 files
licaibiao@ubuntu:~/OpenCV$