一. 综述:

视线追踪,英文称为Eye tracking/gaze tracking,是测量人眼凝视点和相对于头部运动程度的技术。视线追踪主要关心的内容是:看哪里、看多久。
世界上第一非侵入式的眼动仪由“Guy Thomas Buswell in Chicago”1922年在芝加哥研制成功,使用在眼睛上反射的光束,然后将它们记录在胶片上,实现对视线的位置判定。
在20世纪70年代,眼动追踪研究迅速发展,尤其是阅读研究中。二十世纪八十年代开始使用眼动追踪来解答人机交互的问题。具体而言,研究人员调查了用户如何在电脑菜单中搜索命令 ,此外,计算机允许研究人员实时的使用眼动跟踪结果,当时这样主要是为了帮助残疾用户。

二. 眼动仪分类

目前眼动仪分为:1)接触式测量仪;2)非接触式测量仪;3)非接触电极测量 三种。第一类由于使用不舒适,这里不做深入研究。

2.1 光反射眼动仪

第二大类使用一些非接触的光学方法来测量眼睛的运动。通常是眼睛反射红外线,摄像机或其他专门设计的光学传感器进行测量,然后分析测量信息,从反射光斑的变化中提取眼睛旋转信息。基于视频的眼动仪通常使用角膜反射(第一个浦肯野图像)和瞳孔中心作为随时间追踪的特征。一种更为敏感的眼动仪,双浦肯野眼动仪使用来自角膜(第一浦肯野图像)和镜头背面(第四浦肯野图像)的反射作为要追踪的特征。另一种使得跟踪更灵敏的方法是对眼内部的特征(如视网膜血管)进行成像,并在眼睛旋转时跟踪这些特征。光学方法,特别是基于视频记录的方法,由于其非侵入和廉价性正被广泛用于注视跟踪。

大多数现代眼动仪使用瞳孔中心和红外/近红外非准直光来创建角膜反射(CR)。 瞳孔中心与角膜反射之间的矢量可用于计算视线关注点。

视线追踪unity_视线追踪unity


关于瞳孔中心的计算,通常使用明、暗瞳孔的方法:当光源发出的光线与人眼注视光路同轴,那么当光线从穿过瞳孔进入视网膜,再从视网膜反射回来时就会产生明亮的瞳孔效果; 如果照明光源偏离人眼注视光路,那么进入瞳孔的光线绝大部分无法再从瞳孔反射回来,瞳孔就会变黑。这样可以通过控制入射光线角度,得到明暗瞳孔两张图,对两张图求差,迅速的可以定位瞳孔位置。

视线追踪unity_experts_02


视线追踪unity_experts_03


使用明亮瞳孔跟踪技术可以产生更大的虹膜/瞳孔对比度,可以克服虹膜色素沉着等因素,实现准确的眼动跟踪,并大大减少由睫毛和其他模糊特征造成的干扰,而且它还可以在完全黑暗一直到非常明亮的照明条件下进行跟踪。但是,缺点就是对环境光的干扰比较敏感。

还有一种方法是使用被动光源,例如环境光,但是这样瞳孔的对比度就比较差,不易提取,因此就常常使用虹膜或者巩膜来计算瞳孔中心位置。

需要注意的一个问题,明亮瞳孔不一定方便获得,例如人眼不能要求一直盯着红外灯看,否则体验就很差。什么条件下可以产生明亮瞳孔?如下条件要满足:1.人眼被主动红外光照亮;2.人眼视野内有红外发射器,这个具体实验测试一下亮瞳产生的条件。如果亮瞳容易获取,那么定位瞳孔中心就没有问题。

视线追踪技术路线

综上,计算视线位置的技术路线如下:

  1. 控制主动光源,使得亮瞳和暗瞳瞬间交替,计算瞳孔中心;
  2. 控制主动光源,停止亮瞳产生条件,计算光斑位置;
  3. 计算光斑矢量,通过神经网络计算屏幕坐标。
  4. 关于神经网络的训练:
    - 训练数据采集:头部固定眼睛盯着屏幕指定编码位置,采集当前的人眼光斑信息;头部不固定采集上述数据;
    - 由光斑经模型计算关注坐标(x,y),也就是坐标的估计值;
    - 将估计值(x,y)与标注值(X,Y)进行损失计算,得到距离dloss
    - 采用梯度下降法修正模型参数(w,b)
    - 当残差dloss<dth达到门限要求停止训练。
    整个过程需要不断的调整神经网络的构架,具体问题具体分析。

[参考文献:]

  1. Eys tracking–wikipedia
  2. 2.