关于情感的nlp模型对话训练集 nlp 情绪

论文题目：《Emotion recognition using facial expressions》

实验方法

文章使用Kinect采集了6名受试者(25-60岁)的数据，每个受试者距离Kinect两米并且位置在中央，进行6次实验，分别记录7种表情(中性、喜悦、惊讶、愤怒、悲伤、恐惧、厌恶)的数据。Kinect设备可以计算出6个action unit的特征值，包括上唇抬起、下颌下垂、嘴唇伸展、眉毛下垂、唇角下垂、外眉抬起，以此作为feature，分别使用3-NN和MLP进行分类。

实验结果

1、训练集和测试集随机7：3，对6个受试者的数据单独进行训练，结果如下图（第一行表示1号受试者使用MLP的情绪识别准确率为0.94，使用3-NN的情绪识别准确率为0.97）

2、将6次实验中的5组用作训练集，剩下一组用作测试集，对6个受试者的数据单独进行训练，结果如下图（第一行表示1号受试者使用MLP的情绪识别准确率为0.75，使用3-NN的情绪识别准确率为0.70）

3、将数据分为12个子集，每个子集包括一名受试者的一组实验（每个受试者的6次实验其实是分成了两组，每组三次，可能每组环境不同），其中11个子集用作训练集，剩下一个子集用作测试集，对所有受试者的数据进行综合训练，结果如下图

结论

• 1和2的对比说明了MLP的泛化能力更强，通过混淆矩阵发现悲伤-中性和恐惧-惊讶很容易识别错误。
• 4号受试者的结果明显比其他受试者差，该受试者在实验时佩戴眼镜，Kinect不能正确地记录眉毛的下降和上升。
• 此外，用户的面部毛发或肤色也会影响情绪分类的质量。
• 受试者不是坐在设备前面，而是在一个特定的角度，并且头部旋转 -10 to +5 ，俯仰-30 to +30。MLP网络的分类准确率与之前的结果相比下降了约20%。尽管使用了3D建模，但观察到用户的位置对分类结果有很大的影响。