abstract

DAN由多个阶段组成,每个阶段都使用上一个阶段的输出并对人脸关键点位置进行优化,在所有阶段都使用全脸图。热点图提供了每个阶段人脸关键点评估的视觉信息。使用全脸图让dan算法能处理头的各种姿势和较难的初始化,训练表明dan能将现有技术失败率降低70%

Introduction

我们认为目前的基于形状和有序的特征的人脸对齐算法比如sift和特征学习在处理具有挑战性的数据集上有很大的提升空间,原因是图片上提取的相互无关的特征信息并不足以将局部变量回归到最小。

我们的DAN算法基于多阶段神经网络的迭代提升,每个阶段的输入都是上一阶段输出的标准姿势人脸图,所以我们在每个阶段都添加了热点图输入以处理全脸图,这是算法关键。

主要贡献:

1 在阶段间传递当前人脸关键点评估结果时引入了热点图,这让算法能够处理全图,避免局部极小

2 失败率降低60%

3 我们提供了源码和模型

deep network designer 构建 actor critic deep alignment network_初始化

Related Work

新方法的提出有助于提高成功率和人脸对齐的可比性

3 Deep Alignment Network

受CSR级联形状回归的启发,我们将CSR的迭代器替换为单级深度神经网络,既能提取特征又能递归,并且是全脸图。

因此每个阶段的DAN都有三个输入,矫正的输入图T,关键点热点图H,和由上一阶段倒数第二层所连接的密集层生成的特征图F,第一阶段只需要输入图是因为初始化的关键点被视为是脸部形状在图中部的平均状态。

单级DAN由负责关键点评估的神经前馈网络和为下一层生成输入的连接层,连接处包括评估变换层,图像变换层,关键点变换层,热点图生成层,和特征生成图。

deep network designer 构建 actor critic deep alignment network_初始化_02


评估变换层:将图片和关键点矫正,矫正后的关键点会被交给热点图生成层。

3.1 前馈神经网络

除了最大池化层和输出层,所有层都使用了块归一化和激活函数ReLU,dropout层在第一个全连接层前,最后一层输出对于当前关键点评估结果的修正。

deep network designer 构建 actor critic deep alignment network_初始化_03

归一到标准形状

这简化了对齐任务和提高了准确率。
评估变换层负责对输出的变换相关参数进行合理估计,作为输入,该层获取当前阶段的输出St.一旦估计Tt + 1,图像变换和地标变换层将图像I和地标St变换为规范姿势。图像使用双线插值转换。
对于DAN的第一阶段,归一化步骤并不是必要的,因为输入形状是平均面S0,这也是规范的面部形状。
由于输入图片被转换过,所以最后要还原回原图,在每一阶段都是这样。
采用仿射变换,不会引起非标准缩放和歪斜。

关键点热点图

卷积网络各阶段传递信息的关键,半径为16。
在第一阶段不必要,因为输入形状总是假定为S0,这将导致任何输入都会输出相同的热图。

特征图层

是上一阶段连接前馈网络fc1层的全连接层生成的,可以传递任何消息作为热点图的补充。

这一层有3136个神经元,输出为56x56 2D图因为所需参数更少但效果和112x112一样

deep network designer 构建 actor critic deep alignment network_归一化_04

训练过程

第一阶段自行训练直到验证误差不再减小,然后加入连接层和第二阶段开始训练直到验证误差不再减小。
很多人脸对齐算法使用缩小方差总和的方式来做模型,DAN用瞳孔间距的标准化误差来衡量,这个基准更为常见。
DAN的所有层都是微DAN所以DAN也可以做成端到端的算法,所以我们尝试了几种方式,在每个阶段预训练的方法效果好但时间更长,训练整个网络明显效果更差。

Experiments

300-w 和MENGO

错误标准:

预测坐标与真实坐标之间的平均距离除以眼间距离(远距离角度)

预测坐标与真实坐标之间的平均距离除以瞳孔间距离(眼睛中心之间的距离)

预测坐标与真实坐标之间的平均距离除以边界框的对角线

deep network designer 构建 actor critic deep alignment network_初始化_05


deep network designer 构建 actor critic deep alignment network_归一化_06