python 眼部动作检测 眼动识别

了解眼的构造

在进入图像处理的细节之前，让我们稍微研究一下眼睛，让我们想想有什么可能的解决方案。

在下面的图片中我们看到一只眼睛。眼睛由三个主要部分组成:

• 瞳孔——中间的黑色圆圈
• 虹膜——更大的圆圈，不同的人可以有不同的颜色
• 巩膜——它总是白色的

现在我们来编写第一部分的代码，在第一部分中我们导入眼睛移动的视频。之后我们会考虑跟踪运动的解决方案。

我们导入Opencv和numpy库，加载视频“eye_recording”。然后我们把它放入一个循环中，这样我们就可以循环视频的帧并处理一幅一幅的图像。

import cv2
import numpy as np
cap = cv2.VideoCapture("eye_recording.flv")
while True:
    ret, frame = cap.read()
    if ret is False:
        break

现在让我们选择一个Roi(感兴趣的区域)。通过这种方法，我们将检测范围限制在瞳孔、虹膜和巩膜上，并切除了所有不必要的东西，如睫毛和眼睛周围的区域。

roi = frame[269: 795, 537: 1416]
rows, cols, _ = roi.shape
gray_roi = cv2.cvtColor(roi, cv2.COLOR_BGR2GRAY)
gray_roi = cv2.GaussianBlur(gray_roi, (7, 7), 0)

现在我们可以更深入地寻找探测运动的正确方法。

让我们看看眼睛可能拥有的所有方向(如下图所示)，然后找出它们之间的共同点和不寻常之处。

从这幅图中我们能了解到什么?
从左边开始，我们可以看到巩膜覆盖了瞳孔和虹膜指向的另一边。当眼睛直视时，左右两边的巩膜都很平衡。

检测运动

对于检测，我们可以使用不同的方法，聚焦于巩膜、虹膜或瞳孔。
我们要用最简单的方法，也可能是最好的解决方案。

我们只关注瞳孔。通过将图像转换为灰度格式，我们将看到瞳孔总是比眼睛的其他部分更暗。不管眼睛在看什么，不管人的巩膜是什么颜色。

我们来做这个。首先进行灰度变换

然后找到阈值，只提取瞳孔。

gray_roi = cv2.cvtColor(roi, cv2.COLOR_BGR2GRAY)
    gray_roi = cv2.GaussianBlur(gray_roi, (7, 7), 0)
    _, threshold = cv2.threshold(gray_roi, 3, 255, cv2.THRESH_BINARY_INV)

从阈值我们找到了轮廓。我们简单地去除所有的噪音，选择面积最大的元素(应该是瞳孔)，然后忽略其余的。

_, contours, _ = cv2.findContours(threshold, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE)
    contours = sorted(contours, key=lambda x: cv2.contourArea(x), reverse=True)
    for cnt in contours:
        (x, y, w, h) = cv2.boundingRect(cnt)
        #cv2.drawContours(roi, [cnt], -1, (0, 0, 255), 3)
        cv2.rectangle(roi, (x, y), (x + w, y + h), (255, 0, 0), 2)
        cv2.line(roi, (x + int(w/2), 0), (x + int(w/2), rows), (0, 255, 0), 2)
        cv2.line(roi, (0, y + int(h/2)), (cols, y + int(h/2)), (0, 255, 0), 2)
        break

最后我们把所有的东西都显示在屏幕上。

cv2.imshow("Threshold", threshold)
    cv2.imshow("gray roi", gray_roi)
    cv2.imshow("Roi", roi)
    key = cv2.waitKey(30)
    if key == 27:
        break
cv2.destroyAllWindows()

THE END

后续会更新更多光头哥哥，黑脸哥哥，胡子哥哥的opencv计算机视觉博客，欢迎大家关注公众号【opencv视觉实践】一起来学习吖，也会有很多原创有趣的案例以及学习资源的分享呢。