基于OpenCV的人脸检测、训练、识别


文章目录

  • OpenCV级联检测
  • 检测
  • 训练
  • 识别
  • 附录:列表的赋值类型和py打包
  • 列表赋值
  • BUG复现
  • 代码改进
  • 优化
  • 总结
  • py打包


OpenCV级联检测

该系统利用Harr级联检测和LPBH进行人脸检测和训练、识别

检测

import cv2
#import time

cam = cv2.VideoCapture(0)


classifier = cv2.CascadeClassifier('./cascade/haarcascade_frontalface_alt2.xml')

# For each person, enter one numeric face id
face_input_id = input('\n enter user id end press <return> ==>  ')

while(True):

    img = cv2.flip(cam.read()[1],1)
#     img = cv2.flip(img, -1) # flip video image vertically
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    faces = classifier.detectMultiScale(gray,scaleFactor=1.2,minNeighbors=5,minSize=(32, 32))
    if len(faces):
        x,y,w,h = faces[0]
        cv2.rectangle(img, (x,y), (x+w,y+h), (255,0,0), 2)  
#        if time.time()-save_time > 0.2:
#            cv2.imwrite("dataset/" + str(face_input_id) +"."+str(count)+ ".jpg", gray[y:y+h,x:x+w])
#            count += 1
#            save_time = time.time()
    
    cv2.imshow('image', img)

    if cv2.waitKey(10) == 27:   # 通过esc键退出摄像
        if len(faces):
            cv2.imwrite("dataset/" + str(face_input_id) + ".jpg", gray[y:y+h,x:x+w])
        else:
            print("截取人脸失败")
        break
#    elif count >= 50: # Take 30 face sample and stop video
#         break


cam.release()
cv2.destroyAllWindows()

训练

import cv2
import numpy as np
from PIL import Image
import os

# Path for face image database
path = 'dataset'

recognizer = cv2.face.LBPHFaceRecognizer_create()
detector = cv2.CascadeClassifier("./cascade/haarcascade_frontalface_alt2.xml")

# function to get the images and label data
def getImagesAndLabels(path):

    imagePaths = [os.path.join(path,f) for f in os.listdir(path)]     
    faceSamples=[]
    ids = []
    if len(imagePaths):
        for imagePath in imagePaths:
            PIL_img = Image.open(imagePath).convert('L') # convert it to grayscale
            img_numpy = np.array(PIL_img,'uint8')
            face_training_id = int(os.path.split(imagePath)[-1].split(".")[0])   
            faceSamples.append(img_numpy)
            ids.append(face_training_id)

    return faceSamples,ids

print ("正在训练")
faces,ids = getImagesAndLabels(path)
if faces == [] or ids == []:
    print("None")
else:
    recognizer.train(faces, np.array(ids))
    
    # Save the model into trainer/trainer.yml
    recognizer.write('trainer/trainer.yml') # recognizer.save() worked on Mac, but not on Pi
    
    # Print the numer of faces trained and end program
    print("共"+str(len(np.unique(ids)))+"个数据")

识别

import cv2
import time


recognizer = cv2.face.LBPHFaceRecognizer_create()
recognizer.read('trainer/trainer.yml')
cascadePath = "./cascade/haarcascade_frontalface_alt2.xml"
faceCascade = cv2.CascadeClassifier(cascadePath);

font = cv2.FONT_HERSHEY_SIMPLEX

face_output_id = 0
face_1st_flag=0

# names related to ids: example ==> Marcelo: id=1,  etc
names = ['None', 'yangxu', 'zhoulaoshi', 'liuqian', 'hekun', ] 

# Initialize and start realtime video capture
cam = cv2.VideoCapture(0)

while True:

    img = cv2.flip(cam.read()[1],1)
    gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)

    faces = faceCascade.detectMultiScale(gray,scaleFactor=1.2,minNeighbors=5,minSize=(32, 32))
    if len(faces):
        for(x,y,w,h) in faces:
            cv2.rectangle(img, (x,y), (x+w,y+h), (0,255,0), 2)
            face_output_id, confidence = recognizer.predict(gray[y:y+h,x:x+w])
            real_confidence = int(100-confidence)
            if (real_confidence > 50):
                face_name = str(names[face_output_id])
                face_confidence = str(real_confidence)+"%"
                if face_1st_flag == 0:
                    face_1st_flag = 1
                    face_1st_id = face_output_id
                    face_1st_time = time.time()
                else:
                    if 2.1 > time.time() - face_1st_time > 2.0 :
                        if face_output_id == face_1st_id:
                            print("识别成功: "+str(face_output_id)+" "+face_name)
                        face_1st_flag = 0
                    if time.time() - face_1st_time > 2.1:
                        print("请保持稳定")
                        face_1st_flag = 0

            else:
                face_name = "Unknown"
                face_confidence = str(real_confidence)+"%"

            cv2.putText(img, str(face_name), (x+5,y-5), font, 1, (255,255,255), 2)
            cv2.putText(img, str(face_confidence), (x+5,y+h-5), font, 1, (255,255,0), 1)  

    cv2.imshow('camera',img) 

    if cv2.waitKey(10) == 27:
        break


cam.release()
cv2.destroyAllWindows()

附录:列表的赋值类型和py打包

列表赋值

BUG复现

闲来无事写了个小程序 代码如下:

# -*- coding: utf-8 -*-
"""
Created on Fri Nov 19 19:47:01 2021

@author: 16016
"""

a_list = ['0','1','2','3','4','5','6','7','8','9','10','11','12','13','14','15']
#print(len(a_list))
#b_list = ['','','','','','','','','','','','','','','','']
c_list = [[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]]
#for i in range(16):
if len(a_list):
    for j in range(16):
        a_list[j]=str(a_list[j])+'_'+str(j)
        print("序号:",j)
        print('a_list:\n',a_list)
        
        
        c_list[j]=a_list
        print('c_list[0]:\n',c_list[0])
        print('\n')
#        b_list[j]=a_list[7],a_list[8]
#        print(b_list[j])
        # 写入到Excel:
#print(c_list,'\n')

我在程序中 做了一个16次的for循环 把列表a的每个值后面依次加上"_"和循环序号
比如循环第x次 就是把第x位加上_x 这一位变成x_x 我在输出测试中 列表a的每一次输出也是对的
循环16次后列表a应该变成[‘0_0’, ‘1_1’, ‘2_2’, ‘3_3’, ‘4_4’, ‘5_5’, ‘6_6’, ‘7_7’, ‘8_8’, ‘9_9’, ‘10_10’, ‘11_11’, ‘12_12’, ‘13_13’, ‘14_14’, ‘15_15’] 这也是对的

同时 我将每一次循环时列表a的值 写入到空列表c中 比如第x次循环 就是把更改以后的列表a的值 写入到列表c的第x位
第0次循环后 c[0]的值应该是[‘0_0’, ‘1’, ‘2’, ‘3’, ‘4’, ‘5’, ‘6’, ‘7’, ‘8’, ‘9’, ‘10’, ‘11’, ‘12’, ‘13’, ‘14’, ‘15’] 这也是对的
但是在第1次循环以后 c[0]的值就一直在变 变成了c[x]的值
相当于把c_list[0]变成了c_list[1]…以此类推 最后得出的列表c的值也是每一项完全一样
我不明白这是怎么回事
我的c[0]只在第0次循环时被赋值了 但是后面它的值跟着在改变

如图:

opencv人脸识别效果提升 opencv人脸识别训练_计算机视觉


第一次老出bug 赋值以后 每次循环都改变c[0]的值 搞了半天都没搞出来

无论是用appen函数添加 还是用二维数组定义 或者增加第三个空数组来过渡 都无法解决

代码改进

后来在我华科同学的指导下 突然想到赋值可以赋的是个地址 地址里面的值一直变化 导致赋值也一直变化 于是用第二张图的循环套循环深度复制实现了

代码如下:

# -*- coding: utf-8 -*-
"""
Created on Fri Nov 19 19:47:01 2021

@author: 16016
"""

a_list = ['0','1','2','3','4','5','6','7','8','9','10','11','12','13','14','15']
#print(len(a_list))
#b_list = ['','','','','','','','','','','','','','','','']
c_list = [[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]]
#for i in range(16):
if len(a_list):
    for j in range(16):
        a_list[j]=str(a_list[j])+'_'+str(j)
        print("序号:",j)
        print('a_list:\n',a_list)
        
        
        for i in range(16):
            c_list[j].append(a_list[i])
        print('c_list[0]:\n',c_list[0])
        print('\n')
#        b_list[j]=a_list[7],a_list[8]
#        print(b_list[j])
        # 写入到Excel:
print(c_list,'\n')

解决了问题

opencv人脸识别效果提升 opencv人脸识别训练_计算机视觉_02

优化

第三次是请教了老师 用copy函数来赋真值

代码如下:

# -*- coding: utf-8 -*-
"""
Created on Fri Nov 19 19:47:01 2021

@author: 16016
"""

a_list = ['0','1','2','3','4','5','6','7','8','9','10','11','12','13','14','15']
#print(len(a_list))
#b_list = ['','','','','','','','','','','','','','','','']
c_list = [[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]]
#for i in range(16):
if len(a_list):
    for j in range(16):
        a_list[j]=str(a_list[j])+'_'+str(j)
        print("序号:",j)
        print('a_list:\n',a_list)
        
        
        c_list[j]=a_list.copy()
        print('c_list[0]:\n',c_list[0])
        print('\n')
#        b_list[j]=a_list[7],a_list[8]
#        print(b_list[j])
        # 写入到Excel:
#print(c_list,'\n')

同样能解决问题

opencv人脸识别效果提升 opencv人脸识别训练_物联网_03


最后得出问题 就是指针惹的祸!

a_list指向的是个地址 而不是值 a_list[i]指向的才是单个的值 copy()函数也是复制值而不是地址

如果这个用C语言来写 就直观一些了 难怪C语言是基础 光学Python不学C 遇到这样的问题就解决不了

C语言yyds Python是什么垃圾弱智语言

总结

由于Python无法单独定义一个值为指针或者独立的值 所以只能用列表来传送
只要赋值是指向一个列表整体的 那么就是指向的一个指针内存地址 解决方法只有一个 那就是将每个值深度复制赋值(子列表内的元素提取出来重新依次连接) 或者用copy函数单独赋值

如图测试:

opencv人脸识别效果提升 opencv人脸识别训练_计算机视觉_04


opencv人脸识别效果提升 opencv人脸识别训练_opencv人脸识别效果提升_05


opencv人脸识别效果提升 opencv人脸识别训练_opencv人脸识别效果提升_06


opencv人脸识别效果提升 opencv人脸识别训练_嵌入式_07


opencv人脸识别效果提升 opencv人脸识别训练_嵌入式_08


部分代码:

# -*- coding: utf-8 -*-
"""
Created on Sat Nov 20 16:45:48 2021

@author: 16016
"""

def text1():
    A=[1,2,3]
    B=[[],[],[]]
    for i in range(len(A)):
        A[i]=A[i]+i
        B[i]=A
        print(B)

def text2():
    A=[1,2,3]
    B=[[],[],[]]
    
    A[0]=A[0]+0
    B[0]=A
    print(B)
    A[1]=A[1]+1
    B[1]=A
    print(B)
    A[2]=A[2]+2
    B[2]=A
    print(B)
    
if __name__ == '__main__':
    text1()
    print('\n')
    text2()

py打包

Pyinstaller打包exe(包括打包资源文件 绝不出错版)

依赖包及其对应的版本号

PyQt5 5.10.1
PyQt5-Qt5 5.15.2
PyQt5-sip 12.9.0

pyinstaller 4.5.1
pyinstaller-hooks-contrib 2021.3

Pyinstaller -F setup.py 打包exe

Pyinstaller -F -w setup.py 不带控制台的打包

Pyinstaller -F -i xx.ico setup.py 打包指定exe图标打包

打包exe参数说明:

-F:打包后只生成单个exe格式文件;

-D:默认选项,创建一个目录,包含exe文件以及大量依赖文件;

-c:默认选项,使用控制台(就是类似cmd的黑框);

-w:不使用控制台;

-p:添加搜索路径,让其找到对应的库;

-i:改变生成程序的icon图标。

如果要打包资源文件
则需要对代码中的路径进行转换处理
另外要注意的是 如果要打包资源文件 则py程序里面的路径要从./xxx/yy换成xxx/yy 并且进行路径转换
但如果不打包资源文件的话 最好路径还是用作./xxx/yy 并且不进行路径转换

def get_resource_path(relative_path):
    if hasattr(sys, '_MEIPASS'):
        return os.path.join(sys._MEIPASS, relative_path)
    return os.path.join(os.path.abspath("."), relative_path)

而后再spec文件中的datas部分加入目录
如:

a = Analysis(['cxk.py'],
             pathex=['D:\\Python Test\\cxk'],
             binaries=[],
             datas=[('root','root')],
             hiddenimports=[],
             hookspath=[],
             hooksconfig={},
             runtime_hooks=[],
             excludes=[],
             win_no_prefer_redirects=False,
             win_private_assemblies=False,
             cipher=block_cipher,
             noarchive=False)

而后直接Pyinstaller -F setup.spec即可

如果打包的文件过大则更改spec文件中的excludes 把不需要的库写进去(但是已经在环境中安装了的)就行

这些不要了的库在上一次编译时的shell里面输出

比如:

opencv人脸识别效果提升 opencv人脸识别训练_opencv_09

opencv人脸识别效果提升 opencv人脸识别训练_嵌入式_10


然后用pyinstaller --clean -F 某某.spec