最近需要用到solvePnP算法[1]通过人脸关键点求解人脸姿态,涉及到的数据集中关键点标注数量不统一,但网上使用solvePnP算法时人脸模型比较好找到的是68个关键点,因此需要找到模型的68个关键点中与其他几种数量关键点的对应关系。

目录

98关键点标注序号

68关键点标注序号

35关键点标注序号

29关键点标注序号

21关键点标注序号

5/6关键点标注序号

68关键点与29关键点序号对应关系


98关键点标注序号

代表数据集:WLFW数据集。暂时用不到,需要了解的小伙伴可参考官方地址https://wywu.github.io/projects/LAB/WFLW.html

关键点标注 lableme_solvePnP

68关键点标注序号

68关键点标注是目前数据集中最常见的标注方式,比如300W, AFW, HELEN, LFPW, IBUG、XM2VTS数据集等。

                                                                                                                       

关键点标注 lableme_关键点标注_02

关键点标注 lableme_人脸识别_03

35关键点标注序号

代表数据集:LFPW(但在文献中通常采用29关键点,29关键点+左右耳朵上下中6个点 = 35关键点)

关键点标注 lableme_关键点标注_04

29关键点标注序号

代表数据集:LFPW、COFW数据集

关键点标注 lableme_关键点标注_05

21关键点标注序号

代表数据集:AFLW。下图是AFLW数据集中21个关键点的标注序号,网上看到也有一些数据集标注21个关键点,但是顺序与AFLW数据集不同,比如MORPH Album 2 database等,详情见:http://www.cbsr.ia.ac.cn/users/dyi/agr.html

关键点标注 lableme_关键点标注_06

5/6关键点标注序号

5点数据集:FRGC-V2、MTFL/MAFL数据集。左右两个嘴角,两个眼的中心,鼻子5个关键点。

6点数据集:AFW。两眼中心、鼻尖、嘴唇3点共6个关键点。

关键点标注 lableme_关键点标注_07

68关键点与29关键点序号对应关系

29关键点中的序号:[ 1, 5, 3, 4, 7, 2, 9, 11, 12, 10, 19, 21, 20, 22, 23, 24, 25, 26, 27, 28, 29 ]

68关键点中的序号:[ 18, 20, 22, 23, 25, 27, 37, 40, 43, 46, 32, 31, 36, 34, 49, 55, 52, 63, 67, 58, 9]

                                      

关键点标注 lableme_关键点标注 lableme_08

关键点标注 lableme_关键点标注_09

有了对应关系后,就可以使用3D人脸模型中的指定点,来使用solvePnP算法来指定头部姿态了。3D人脸模型人脸模型可以通过这里获取: 3D人脸模型,对人脸模型的处理可以参考:head-pose-estimation。计算头部姿态的方法可以参考[2]。