人物识别是多媒体领域最重要的任务之一。在实际应用中,由于姿态,表情,衣服,角色化妆等非受限实际场景,人物识别非常具有挑战性。随着深度学习技术的发展,人物识别已经在不同的领域得到了广泛的研究,包括人脸识别、人物重识别和说话人识别等,并取得了巨大成就。然而针对海量视频数据,单个模态不足以表达人物的全部身份信息,在实际应用中也没有达到令人满意的程度,技术研究上仍面临着较大的挑战。因此,接近真实场景的数据集是十分重要和必要的。

为了促进多模态人物识别技术的发展,爱奇艺构建了目前全球最大的多模态视频数据集iQIYI-VID,该数据集包含1万个明星艺人的60万个视频片段,来自于40w长视频和100w短视频,旨在促进人物识别的技术创新。

爱奇艺为推动人物识别技术在视频智能分析中的深入研究,在2018年和2019年分别联合PRCV和ACMMM会议举办了两届多模态人物识别挑战赛,并在大赛期间公布了多模态人物识别数据集iQIYI-VID-2018及iQIYI-VID-2019,引起了学术界和工业界的广泛关注,成为人物识别行业的数据新标准。此外爱奇艺还与ICCV 2019合作举办了Lightweight Face Recognition Challenge & Workshop,并为该竞赛提供测试数据集iQIYI-VID-FACE。为了使这些数据集在人物识别领域持续发挥作用,我们将以上数据整合形成数据集iQIYI-VID,并发布在http://challenge.ai.iqiyi.com/data-cluster ,欢迎下载使用。

相比其他人物识别数据集,数据集iQIYI-VID来自于海量视频数据,能够有效应对实际环境下识别效果受到多姿态、多表情、多年龄、多光照、多分辨率、不同角色化妆、局部遮挡等影响这一问题,对多模态人物识别算法的研究具有较高的价值。希望该数据集能够促进人物识别在智能视频分析行业中的实际应用,提高大家对视频人物的全方位的理解,包括对人的检测、识别、属性、动作分析,台词,声音等。

整个数据集划分为四个子任务:A,B,C和D。其中:

  • Task C对应于多模态人物识别挑战赛2019,对应数据集iQIYI-VID-2019,共包含10,034个人物id。其中训练集包含60,566个视频片段,验证集包含76,013个视频片段。这些视频片段部分来自于iQIYI-VID-2018中的困难样例,部分来自于新增短视频数据,这些短视频数据来自于姜饼app。与iQIYI-VID-2018相比,iQIYI-VID-2019场景更丰富,难度系数更高。详情见:http://challenge.ai.iqiyi.com/detail?raceId=5c767dc41a6fa0ccf53922e6

  • Task A为taskB和task C的数据总和,共包含10,034个人物id,训练集包含240,129个视频片段,验证集包含197,329个视频片段;

目前在TaskC测试集上第一名MAP已经达到了91.14%;在TaskD上大模型达到了0.72981,小模型达到0.72226(TPR@FPR=1e-4),指标仍有较高的上升空间,希望大家再接再厉,刷新纪录。

欢迎大家使用该数据集!如果在论文中用到了iQIYI-VID数据集请引用如下文章: 

Yuanliu Liu, Peipei Shi, Bo Peng, He Yan, Yong Zhou, Bing Han, Yi Zheng, Chao Lin, Jianbin Jiang, Yin Fan, Tingwei Gao, Ganwen Wang, Jian Liu, Xiangju Lu, Junhui Liu and Danming Xie. 'iQIYI Celebrity Video Identification Challenge'. Accepted by ACM MM'19 Grand Challenges.

小贴士:下载数据集iQIYI-VID-FACE之前别忘了要在爱奇艺竞赛网站上http://challenge.ai.iqiyi.com/ 先进行注册哦!

 

end

也许你还想看

叮!爱奇艺人物识别数据集已上线_人物识别