人脸对比是现在比较常用的功能,比如出租车司机人脸与司机驾照照片对比,门禁系统中进入者的人脸与人脸库中的人脸进行对比。要实现人脸对比,首先要实现的是人脸检测,在摄像头拍摄到的一张图片中,正确的检测到人脸的位置,并且将人脸提取出来。
目录
1 原理先知
1.1 68点标定和OpenCV绘点
考虑到免费开源,OpenCV 就可以很好的实现这个功能。
这里使用OpenCV提供好的人脸分类模型xml:haarcascade_frontalface_alt_tree.xml。
同时利用Dlib官方给的人脸识别预测器“shape_predictor_68_face_landmarks.dat”进行68点标定(利用OpenCV进行图像化处理,在人脸上画出68个点,并标明序号)。
注:OpenCV人脸分类模型xml及Dlib人脸识别预测器下载地址
https://pan.baidu.com/s/1gZfYupoW9Zo_2lVV524cWA
提取码:w536
人脸68点定位工作内容主要以下两大块:68点标定 和 OpenCV绘点
- 68点标定:dlib提供了训练好的模型,可以识别人脸的68个特征点
- OpenCV绘点:画圆函数cv2.circle() 和 输出字符串函数 cv2.putText()
1.2 编码设计思路
- 调用dlib库来进行人脸识别,调用预测器“shape_predictor_68_face_landmarks.dat”
- 进行68点标定存入68个点坐标
- 利用cv2.circle来画68个点
- 利用cv2.putText()函数来画数字1-68
1.3 OpenCV画图函数介绍
- 画圆 cv2.circle( img, (p1,p2), r, (255,255,255) )
img 图片对象
(p1,p2) 圆心坐标
r 半径
(255,255,255) 颜色数组 - 输出字符 cv2.putText( img,"test", (p1,p2), font, 4, (255,255,255), 2, cv2, LINE_AA )
img 图像对象
"test" 需要打印的字符 text(数字的话可以利用str()转成字符)
(p1,p2) 坐标 textOrg
font 表示字体 fontFace(注意这里 font = cv2.FONT_HERSHEY_SIMPLEX)
4 表示字号 fontScale
(255,255,255) 颜色数组
2 线宽 thickness
LINE_AA 线条种类 line_type;
关于颜色数组:(255,255,255), (蓝色,绿色,红色),每个值都是0-255。比如:蓝色(255,0,0),紫色(255,0,255)
- Linux Ubuntu 16.04
- Python 3.6
- PyCharm Community2018
- Opencv-python 3.4.0.12
- 使用haarcascade_frontalface_alt_tree.xml人脸分类模型检测人脸。
- 利用Dlib官方给的人脸识别预测器“shape_predictor_68_face_landmarks.dat”进行68点标定,利用OpenCV进行图像化处理,在人脸上画出68个点,并标明序号。
4.1 OpenCV实现人脸检测
首先将图片转换成灰色:使用 OpenCV 的 cvtColor() 转换图片颜色。
import cv2
filepath = "/data/opencv12/mv.jpg"
img = cv2.imread(filepath)
# 转换灰色,目的是在人脸检测时排除色彩的干扰
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
# 显示图像
cv2.imshow("original", img)
cv2.imshow("Image", gray)
cv2.waitKey(0)
cv2.destroyAllWindows()
之后使用训练分类器查找人脸:在使用 OpenCV 的人脸检测之前,需要一个人脸训练模型,格式是 xml 的,本实验中使用的是 OpenCV 提供好的人脸分类模型 xml:haarcascade_frontalface_alt_tree.xml。
Haar 特征分类器就是一个 XML 文件,该文件中会描述人体各个部位的Haar特征值。包括人脸、眼睛、嘴唇等等。
OpenCV中人脸检测使用的是 detectMultiScale函数。它可以检测出图片中所有的人脸,并将人脸用vector保存各个人脸的坐标、大小(用矩形表示)。
# 加载OpenCV人脸识别分类器
face_detector = cv.CascadeClassifier("haarcascade_frontalface_alt_tree.xml")
# 调用函数识别人脸
faceRects = classifier.detectMultiScale(gray, scaleFactor=1.2, minNeighbors=3, minSize=(32, 32))
最后在图片上画矩形:使用 OpenCV 的 rectangle() 绘制矩形。
color = (0, 255, 0)
if len(faceRects): # 大于0则检测到人脸
for faceRect in faceRects: # 单独框出每一张人脸
x, y, w, h = faceRect # x、y表示坐标;w、h表示矩形宽和高
# 框出人脸
cv2.rectangle(img, (x, y), (x + h, y + w), color, 2)
# 左眼
cv2.circle(img, (x + w // 4, y + h // 4 + 30), min(w // 8, h // 8),color)
#右眼
cv2.circle(img, (x + 3 * w // 4, y + h // 4 + 30), min(w // 8, h // 8),color)
#嘴巴
cv2.rectangle(img, (x + 3 * w // 8, y + 3 * h // 4),(x + 5 * w // 8, y + 7 * h // 8), color)
OpenCV实现人脸检测完整代码如下:
import cv2
filepath = "/data/opencv12/mv.jpg"
img = cv2.imread(filepath)
cv2.imshow("original", img)
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
classifier = cv2.CascadeClassifier("/data/opencv12/haarcascade_frontalface_alt_tree.xml")
faceRects = classifier.detectMultiScale(gray, scaleFactor=1.2, minNeighbors=3, minSize=(32, 32))
color = (0, 255, 0)
if len(faceRects):
for faceRect in faceRects:
x, y, w, h = faceRect
cv2.rectangle(img, (x, y), (x + h, y + w), color, 2)
cv2.circle(img, (x + w // 4, y + h // 4 + 30), min(w // 8, h // 8),color)
cv2.circle(img, (x + 3 * w // 4, y + h // 4 + 30), min(w // 8, h // 8),color)
cv2.rectangle(img, (x + 3 * w // 8, y + 3 * h // 4),(x + 5 * w // 8, y + 7 * h // 8), color)
cv2.imshow("image", img)
cv2.waitKey(0)
cv2.destroyAllWindows()
OpenCV实现人脸检测运行结果如下所示。
4.2 人脸68点定位
除了使用 OpenCV 实现人脸检测之外,也可以借助比 OpenCV 更加精准的图片人脸检测 Dlib 库实现人脸 68 点定位。
首先导入需要调用的库。
import dlib #人脸识别的库dlib
from PIL import Image #图像处理的库PIL
import numpy as np #数据处理的库numpy
import cv2 #图像处理的库OpenCv
之后读取图片,并将图片转换为灰度图。
path = "/data/opencv12/mv.jpg"
img = cv2.imread(path)
cv2.imshow("original", img)
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
接下来读取训练模型,就可以检测脸部 68 特征点。
# 人脸分类器
detector = dlib.get_frontal_face_detector()
# 获取人脸检测器
predictor = dlib.shape_predictor("/data/opencv12/shape_predictor_68_face_landmarks.dat")
最后在人脸上遍历所有检测点并打上标注,并标注 1-68 数字。
rects = detector(gray, 0)
for i in range(len(rects)):
landmarks = np.matrix([[p.x, p.y] for p in predictor(img, rects[i]).parts()]) # 寻找人脸的68个标定点
# 遍历所有点,打印出其坐标,并圈出来,并标注1-68数字
for idx, point in enumerate(landmarks):
pos = (point[0, 0], point[0, 1])
# 利用cv2.circle给每个特征点画一个圈,共68个
cv2.circle(img, pos, 3, color=(0, 255, 0))
# 利用cv2.putText输出1-68
font = cv2.FONT_HERSHEY_SIMPLEX
cv2.putText(img, str(idx+1), pos, font, 0.3, (0, 0, 255), 1, cv2.LINE_AA)
人脸68点定位完整代码如下:
import cv2
import dlib
import numpy as np
path = "/data/opencv12/mv.jpg"
img = cv2.imread(path)
cv2.imshow("original", img)
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
detector = dlib.get_frontal_face_detector()
predictor = dlib.shape_predictor("/data/opencv12/shape_predictor_68_face_landmarks.dat")
rects = detector(gray, 0)
for i in range(len(rects)):
landmarks = np.matrix([[p.x, p.y] for p in predictor(img, rects[i]).parts()])
for idx, point in enumerate(landmarks):
pos = (point[0, 0], point[0, 1])
cv2.circle(img, pos, 3, color=(0, 255, 0))
font = cv2.FONT_HERSHEY_SIMPLEX
cv2.putText(img, str(idx+1), pos, font, 0.3, (0, 0, 255), 1, cv2.LINE_AA)
cv2.imshow("imgdlib", img)
cv2.waitKey(0)
cv2.destroyAllWindows()
人脸68点定位运行结果如下所示。
可以发现,dlib检测到人脸包括双眼、鼻子、嘴巴在内并用68点标注过的图片如下所示,并可以精准的定位检测人脸。
欢迎留言,一起学习交流~
感谢阅读