四、算法各模块设计
4.1 摄像头读取与ROI选择
原理:
创建一个MyCamera类,通过调用opencv 的VideoCapture类获取摄像头并通过VideoCapture类的read方法读取摄像头的帧,并通过python的数组切片操作截取ROI
class MyCamera:
def __init__(self, cameraNum):
self.cap = cv.VideoCapture(cameraNum)
self.height = 360
self.weight = 640
def read(self):
iret, frame = self.cap.read()
src = frame[60:420, :]
if (iret != True):
raise Exception("camera fail")
return src
def release(self):
self.cap.release()
cv.destroyAllWindows()
ROI区截取代码段
raw_img = self.read()
roi = raw_img[160:200,190:560]
4.2 检测线条轮廓模块
4.2.1 图像预处理 - 高斯滤波
原理:
由于采用的是聊天摄像头,在实时视频帧抓取时难免会有高斯噪声,固采用高斯滤波对ROI区域进行模糊
高斯模糊实质上就是一种均值模糊,只是高斯模糊是按照加权平均的,距离越近的点权重越大,距离越远的点权重越小。通俗的讲,高斯滤波就是对整幅图像进行加权平均的过程,每一个像素点的值,都由其本身和邻域内的其他像素值经过加权平均后得到。我们可以从其函数表达式可知:
代码段:
pre = cv.GaussianBlur(image, (5,5), 0)
处理结果:
4.2.2 灰度化
原理:
彩色图像包含着大量的颜色信息,不但在存储上开销很大,而且在处理上也会降低系统的执行速度,因此在对图像进行识别等处理中经常将彩色图像转变为灰度图像,以加快处理速度。由彩色转换为灰度的过程叫做灰度化处理。选择的标准是经过灰度变换后,像素的动态范围增加,图像的对比度扩展,使图像变得更加清晰、细腻、容易识别。
固调用cv2库内的cvtColor方法将原RGB色域的图进行灰度化
代码段:
gray = cv.cvtColor(pre, cv.COLOR_BGR2GRAY)
处理结果:
4.2.3 图像二值化
原理:
二值图像是指整幅图像画面内仅黑、白二值的图像。在实际的图像处理系统中,进行图像二值变换的关键是要确定合适的阀值,使得线条轮廓与背景能够分割开来,二值变换的结果图像必须要具备良好的保形性,不丢掉有用的形状信息,不会产生额外的空缺等等。此系统要求处理的速度高、成本低、信息量大,采用二值图像进行处理,能大大地提高处理效率。阈值处理的操作过程是先由用户指定或通过算法生成一个阈值,如果图像中某中像素的灰度值小于该阈值,则将该像素的灰度值设置为0或255,否则灰度值设置为255或0。
固调用cv2库内的threshold方法进行二值化处理
代码段
ret, binary_img = cv.threshold(gray, 50, 255, cv.THRESH_BINARY | cv.THRESH_TRIANGLE)
处理结果
4.2.4 图像中值滤波
原理:
由于二值化后的图像存在椒盐噪声,固采用中值滤波进行处理
代码段:
meb = cv.medianBlur(binary_img, 3)
处理结果
4.2.5 轮廓检测
原理:
通过调用cv2库里的findContours方法检测出二值化后的ROI图像中的线条轮廓,其输入图像为二值图,并选用RETR_EXTERNALf方法识别外轮廓,并放回所有轮廓的坐标原点和偏移量,由于可能会识别出背景中的噪点作为轮廓,为了避免此影响,通过对轮廓的面积进行判断筛选出八个线条的轮廓。最终在原ROI图框选出来
代码段:
contours, hierarchy = cv.findContours(meb, cv.RETR_EXTERNAL, cv.CHAIN_APPROX_SIMPLE)
if len(contours) > 0:
boxes = [cv.boundingRect(c) for c in contours]
count = 0
for box in boxes.copy():
x,y,w,h = box
if w*h < 100:
boxes.remove(box)
continue
# print(w*h)
image = cv.rectangle(image, (x,y), (x+w,y+h), (0,255,0), 2)
count = count + 1
处理结果