::: hljs-right DATE: October 19, 2024 :::
《Nonlinear 3D Face Morphable Model》一文中保存的编码：
- iden_code：身份代码
- expr_code：表情代码
- text_code：纹理代码
- illu_code：光照代码
- w2c_Rmats：世界到相机的旋转矩阵
- w2c_Tvecs：世界到相机的平移向量
- inmats：内参矩阵，包含焦距和主点坐标
[1] TRAN L, LIU X. Nonlinear 3D Face Morphable Model[C/OL]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2018: 7346-7355[2024-09-23].
FLAME模型都和BFM的区别
- FLAME是一个人头模型，BFM是一个人脸模型，直观来看FLAME的输出是一整个三维的人头结构，包括了后脑勺以及脖子，这是BFM模型没有的地方；
- FLAME模型通过LBS显式地建模了脖子的旋转、眼球的旋转，也是BFM所不具备的；
- FLAME模型能够表示的表情要比BFM模型更加丰富，最原始的BFM模型只在200个人数据上拟合而成，而FLAME模型是在33000个人头数据上拟合出来的结果；
- FLAME模型没有纹理，BFM模型有纹理，但有工作将这两者的mesh对齐，从而使得在FLAME上可以使用BFM的纹理空间；
DECA：Learning an Animatable Detailed 3D Face Model from In-The-Wild Images
EMOCA: Emotion Driven Monocular Face Capture and Animation
EMOCA的架构基于DECA，在训练过程中引入一种新颖的深度感知情感一致性损失，这有助于确保重建的 3D 表情与输入图像中描绘的表情相匹配。虽然 EMOCA 实现的 3D 重建误差与当前最佳方法相当，但它在重建表达的质量和感知的情感内容方面显着优于现有方法。 https://zhuanlan.zhihu.com/p/671336360
MICA: Towards Metrical Reconstruction of Human Faces
MICA采用了最先进的人脸识别网络ArcFace，该网络在wild数据上进行训练，以实现身份码的稳健预测，并由几何解码器进行解释。身份编码器。
FLAME和双线性模型（FaceWarehouse，FaceScape）优缺点
双线性模型是在数据集所有mesh组成的空间中进行SVD，从而找到的两组正交基来分别表示为shape和expression；而FLAME模型的正交、解耦是靠训练数据来保证的（可以看论文"model training"这一章），并没有去严格限制shape和expression正交。从这个角度，双线性模型得到的shape和expression理论上会更独立一些，FLAME中可能改变expression导致shape系数发生变化。 https://zhuanlan.zhihu.com/p/591136896
