体感游戏 | 手势识别玩飞机大战游戏(二) Python+OpenCV实现简易手势识别功能

    后面将分四篇文章来介绍实现手势识别控制飞机大战游戏的功能，它们分别是：

• 使用Pygame实现简易飞机大战小游戏

• 使用Python+OpenCV实现简单手势识别

• 使用OpenCV实现手势识别玩飞机大战游戏

• 使用TensorFlow实现手势识别玩飞机大战游戏

---

    今天是第二部分：Python+OpenCV实现简易手势识别功能。简易的手势识别，所以功能也很简单，识别手势1~5就行，当然我们控制飞机时只需要用到最多3个手势：发射子弹、向左移动和向右移动。所以1~5够用了，当然你也可以用手势的移动方向来控制飞机的移动方向，只需要计算手势轮廓的重心位置变化即可。

    手势识别的实现步骤也比较简单，分以下三个步骤：

1. HSV提取包含手势区域轮廓

2. 计算轮廓多边形逼近和凸包缺陷

3. 通过凸包缺陷距离来判断手指缝数量来计算手势

---

(1) HSV提取肤色轮廓，然后筛选找出手部轮廓

hsv_img=cv2.cvtColor(img,cv2.COLOR_BGR2HSV)lower_hsv_1 = np.array([0,50,50])#颜色范围低阈值upper_hsv_1 = np.array([20,255,255])#颜色范围高阈值lower_hsv_2 = np.array([150,50,50])#颜色范围低阈值upper_hsv_2 = np.array([180,255,255])#颜色范围高阈值mask1 = cv2.inRange(hsv_img,lower_hsv_1,upper_hsv_1)mask2 = cv2.inRange(hsv_img,lower_hsv_2,upper_hsv_2)mask = mask1 + mask2mask = cv2.medianBlur(mask,5)k1=np.ones((5,5), np.uint8)mask = cv2.dilate(mask, k1, iterations=1)mask = cv2.erode(mask, k1, iterations=1)mask_color = cv2.cvtColor(mask,cv2.COLOR_GRAY2BGR)cv2.imshow("mask", mask)#cv2.imwrite("mask.png", mask)black_img = np.zeros(mask.shape,np.uint8)
contours,hierarchy = cv2.findContours(mask,cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_SIMPLE)if len(contours) < 1:    return 0, img      contours.sort(key = cnt_area, reverse=True)  (x0, y0, w0, h0) = cv2.boundingRect(contours[0])if(w0>=100 and h0>=100):    cv2.rectangle(img,(x0,y0),(x0+w0,y0+h0),(255,0,255),2)

(2) 多边形逼近和轮廓凸包缺陷计算

epsilon = 0.01 * cv2.arcLength(contours[0], True)approx = cv2.approxPolyDP(contours[0],epsilon,True)cv2.drawContours(black_img,[approx],-1,(255,0,255),2)
contours2,hierarchy2 = cv2.findContours(black_img,cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_SIMPLE)if len(contours) < 1:  return 0, imghull = cv2.convexHull(contours2[0],returnPoints=False)defects = cv2.convexityDefects(contours2[0],hull)

(3) 凸包缺陷距离筛选来计算手势数字

if d >= 13000:      cv2.line(img,start,end,[0,255,0],3)#凸包      cv2.circle(img,start,10,[0,255,255],3)      cv2.circle(img,end,10,[0,255,255],3)      cv2.circle(img,far,10,[0,0,255],3)#凸包缺陷点      pre_start = start      pre_end = end      pointNum += 1        cv2.putText(img,'hand-%d'%pointNum,(10,35),font,1.2,(0,255,255),3)       return pointNum, img 

视频效果：

https://www.bilibili.com/video/BV1pV411t7Rq/

源码请在公众号回复"手势识别"即可获取，更多视觉学习资讯请关注：OpenCV与AI深度学习，感谢支持！