今天来了解一个模型,Candide3人脸动画模型。


目前三维人脸识别算法包括基于深度学习的算法吗 人脸三维模型_人工智能

了解Candide前,先来了解下Mpeg4的一个标准。

Mpeg是一种图像压缩编码技术,Mpeg技术定义了一些标准。其中有一部分就制定了3D人脸动画的规范化标准。这里有2个主要概念来描述3D人脸动画:

  1. FDPS(人脸定义参数 Facial Definition Parameters)
    用来描述人脸几何结构和纹理信息。
  2. FAPS(人脸动画参数 Facial Animation Parameters)
    用于描述人脸的动态变化。在上述FDPS生成个性化人脸的基础上,使用FAPS参数实现表情动画变形。比如描述关于眉毛的上扬或者下沉,而不同的FAP组合形成某一特定表情或人脸动画

总之,FDP与FAP构成了人脸结构和表情动画集合,而Candide 3模型是这个集合的子集。

  1. Candide 3包含了部分FDP顶点、部分FAP的表情定义,摒弃了如耳朵舌头等次要表情变化。有113个特征点和168个三角面片,构成3D人脸模型。
  2. 目前三维人脸识别算法包括基于深度学习的算法吗 人脸三维模型_ide_02

  3. Candide 3面向另一个人脸动画标准——FACS(面部动作编码系统:Facial Action Coding System)。

FACS基于面部肌肉运动以及表情控制原理,定义了一系列人脸动画参数AU,AU之间的相互关联构成表情。

如下表所示为FACS中AU参数以及意义:


目前三维人脸识别算法包括基于深度学习的算法吗 人脸三维模型_3D_03

AU参数意义

下表为AU组合成为表情:


目前三维人脸识别算法包括基于深度学习的算法吗 人脸三维模型_人工智能_04

AU组合成为表情

3. Candide 3模型由以下公式映射图像空间:


目前三维人脸识别算法包括基于深度学习的算法吗 人脸三维模型_ide_05

Candide模型映射公式

其中:

s是最终带入表情的3D人脸模型;

a、P、t是控制模型缩放、旋转、位移的参数;

S_0 是标准脸模型;

S_1-n是人脸动画参数;

w_1-n 是S_1-n是动画参数权重;

n 动画参数的个数。

这里的动画参数,就是来自人脸表情动画单元AU。

给一张照片,我们可以根据二维人脸照片上的特征点,确定三维candide人脸模型,同时,可以通过AU参数控制人脸的表情动画,也就是控制3D模型顶点的空间位移。

下面准备一张朱莉的照片:


目前三维人脸识别算法包括基于深度学习的算法吗 人脸三维模型_人工智能_06

生成个性人脸,模型中加入咧嘴动画(看不清可点击看大图):


目前三维人脸识别算法包括基于深度学习的算法吗 人脸三维模型_人工智能_07

绘制嘴部动画:


目前三维人脸识别算法包括基于深度学习的算法吗 人脸三维模型_3D_08


反方向撅嘴


目前三维人脸识别算法包括基于深度学习的算法吗 人脸三维模型_人工智能_09


总结:Candide3是一个人脸动画模型。它的数据中,包含一个标准脸模型——顶点和纹理信息,和一系列动画单元——基于肌肉控制和表情原理的顶点位移组合AU。

中间脸模型通过人脸特征点进行定制,生成个性化人脸模型,同时可以通过AU提供的动画参数,和其他旋转、缩放等参数一起,改变模型顶点空间位置形成表情,以及动画。


人脸动画生成过程

目前三维人脸识别算法包括基于深度学习的算法吗 人脸三维模型_计算机视觉_10