研究背景

人脸关键点检测,在很多人脸相关的任务中,属于基础模块,很关键。比如人脸识别、人脸验证、人脸编辑等等。想做人脸相关的更深层次的应用, 人脸关键点是绕不过去的点 。正是因为它是一个基础模块,所以对速度很敏感,不能太耗时,否则影响了系统整体的效率。所以对人脸关键点检测的要求是,又准又快。

研究问题

人脸关键点目前存在的问题(不能又准又快)的原因如下:

1. 局部变化:表情、局部特殊光照、部分遮挡,导致一部分关键点偏离了正常的位置,或者不可见了;

2. 全局变化:人脸姿态、成像质量;

3. 数据不均衡 : 在人脸数据里面,数据不均衡体现在,大部分是正脸数据,侧脸很少,所以对侧脸、大角度的人脸不太准;

4. 模型效率:在 CNN 的解决方案中,模型效率主要由 backbone 网络决定。

在实际使用中, 人脸关键点的问题主要有两个: 1)对“点是否遮挡”判断是否准确;2)对大角度人脸(+-60 度以内)点位置预测的准确性和稳定性。

解决思路

1. 修改 loss,增加关键点的空间约束项(三个姿态角)和数据均衡项;

2. backbone 采用 MobileNet(常规操作);

3. 用 auxiliary network,让点位置预测更稳定和鲁棒(常规操作)。

复现指南


模型

损失函数


损失函数的意义在于表示差异,而且能表示真正的距离。特别是当对象本身具备 3D 属性,而仅在 2D 上表示的时候,这样的距离表示就是不准确的。本文作者认为,对于人脸这种对象,人脸 pose(更简单的说是 3 个欧拉角)可以弥补一些人脸 3D 到 2D 的信息损失。具体怎么弥补?

希望是网络可以学到 3D 姿态的信息,最容易想到的方法是让网络去预测三个角度,这么做是可以的。进一步还能怎么做?把预测的角度损失和点位置损失组合起来,具体的组合方式,比如相加,或者相乘。相加的方式比较类似多任务损失,相乘的方式可以理解为一种加权,因为角度损失一般会归一化到 0-1 之间。

在实际中又发现,这个角度分布,存在样本不均衡的问题,所以又增加了样本均衡项。


绿色框是预测的角度和 gt 的差值,通过 cos 变成 0-1 之间,通过 (1-x) 操作变成单调增。

红色框是样本均衡项,作者把人脸分成六类(侧脸,正脸,抬头,低头,有表情,有遮挡),统计了训练集中这六类的数量分布,计算对应的数量比例,比如 1/10,用它的倒数,作为均衡项(用倒数是否合理?是否有点糙?可以考虑 focal loss 和 class-balance loss 的处理方法)。

网络


上面是 auxiliary 网络,预测三个角度,infernce 不参与,和下面的网络,共用一些层。角度预测的 gt,是用一个平均正脸上预先定义的 11 点,和 gt 中的 11 点估计出的旋转角度,作为角度的 gt。

下面是 backbone + head:


红框是 head,用了多尺度预测,类似 SSD 的做法。

实验

SOTA 比较:和去年的 LAB 方法(Look at Boundary)相比,NME 提升 0.1 个点。

速度:ARM845 上,一张人脸只要 7ms。backbone 优化,另外一个原因是直接回归位置坐标,而不是常规的 heatmap + offsetr 的方式,无后处理耗时。

Ablation:

对于直接回归位置坐标,本文提出的改进 loss 提升略明显(存疑)。


个人评价

应用决定算法对什么更敏感。人脸关键点终究是一个耗时敏感的问题,为了效率,本文的考虑有如下:

backbone 采用 MobileNet

直接回归点坐标,省去后处理耗时

用 auxiliary 网络,这个网络再怎么搞,都不会影响 inference 耗时

对 loss 的优化,再怎么玩,都不会影响 inference 耗时

什么会影响耗时:

输入大小

inference 涉及的 backbone 和 head

target_to_label 的耗时

所以,像什么对抗损失、模仿学习、加数据训等等方法,都是可以在不改变算力的情况提升模型性能的手段,在工业界常常使用。

三点想法:

如果模型的角度预测分支,放在和位置预测一起出,效果会怎么样?

如果人脸的角度不是预测的,是标注的,效果会怎么样?

考虑效率的话,输入大小和模型算力配比,是最佳的均衡么?

如果有大神复现了本方法,求分享交流,想知道上面三个问题的答案。