一种基于BN-inception双流网络的情绪识别方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108921037A(43)申请公布日2018.11.30(21)申请号201810579049.5(22)申请日2018.06.07(71)申请人四川大学地址610064四川省成都市武侯区望江路29号(72)发明人卿粼波王露滕奇志何小海熊文诗吴晓红(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)权利要求书1页说明书4页附图2页(54)发明名称一种基于BN-inception双流网络的情绪识别方法(57)摘要本发明提供了一种基于姿态信息的个体情绪识别方法，主要涉及利用深度学习方法研究个体姿态以判断个体的情绪。该方法包括：首先引入基于BN-inception双流网络模型，通过对原始图像和光流图像的学习，提取输入序列的静态和动态特征；然后在双流网络的基础上加入空间金字塔池化(SpacePyramidPooling,SPP)，使图像以原始尺寸输入网络，从而减少因变形对模型性能造成的影响。本发明首先利用双流网络对输入序列进行时空特征的学习，并引入金字塔池化，以保留视频帧的原始信息，使得网络能有效地学习个体姿态情绪的特征，得到较高的识别率。CN108921037ACN108921037A权利要求书1/1页1.一种基于BN-inception+SPP双流网络的个体情绪识别方法，其特征在于：a.将个体姿态数据集划分为四个情绪类别：无聊(bored),激动(excited),生气(frantic),放松(relaxed)；b.在BN-inception双流网络的全连接层之前加入空间金字塔池化(SpacePyramidPooling,SPP)，对数据集分别进行时空网络的训练；该方法主要包括以下步骤：(1)采用文献[1]的光流算法处理数据集生成对应的光流图像序列，表示个体姿态的运动特征；(2)将数据集划分为训练集、验证集和测试集三部分，并给定每个序列的情绪类别；(3)引入基于BN-inception的双流卷积神经网络模型，并在其全连接层之前加入SPP层优化BN-inception网络，利用训练集和验证集进行时空网络的训练，利用测试集进行验证；(4)将基于BN-inception+SPP的空间流和时间流两通道网络进行平均融合，得到测试集上的准确度ACC(Accuracy)和宏平均精确度MAP(MacroAveragePrecision)。2.如权利要求1所述的基于BN-inception+SPP双流网络的个体情绪识别方法,其特征在于在步骤(3)中利用双流网络分别对数据集的时空特征进行学习。3.如权利要求1所述的基于BN-inception双流网络的情绪识别方法,其特征在于在步骤(3)中首先在BN-inception双流网络的全连接层之前加入SPP层，使得训练集以原始尺寸输入网络，避免固定输入尺寸带来的运动信息丢失，接着再对数据集分别进行时空网络的训练。2CN108921037A说明书1/4页一种基于BN-inception双流网络的情绪识别方法技术领域[0001]本发明涉及深度学习领域中的情绪识别问题，尤其是涉及一种基于BN-inception+SPP双流网络的个体情绪分析方法。背景技术[0002]情绪是综合了人的感觉、思想和行为的一种状态，在人与人的交流中发挥着重要作用。通常根据一个人面部表情即能判断其情绪状态，但是在某些特定的环境中，如监控视角、面部存在遮挡等情况下，我们不一定能够获取清晰的人脸面部表情。实际上，一个人的真实情绪不仅仅依靠人脸表情进行表达，个体的肢体动作也能表达一定的情绪信息。因此，本发明的研究主要集中在基于视频的个体姿态的情绪识别。[0003]情绪识别是计算机视觉领域中的重要研究内容和方向，目前很多权威的国际期刊和顶级会议设有相关的主题和内容，且许多国外名校还开设了相关的课程。传统的基于视频的情绪识别方法主要依靠人工选取的特征，这一方法耗时耗力且取得的模型参数的泛化性能差，服务于情绪识别的程度有限。深度学习是人工智能领域发展的一个重要组成部分，近年来已成为人工智能领域非常热门的研究方向。它在许多领域(如图像识别、语音识别等)都取得了很大的突破，特别是在视频分析中已取得了较高的识别率和泛化能力。因此本专利利用深度学习在视频分析中的优势，对视频中个体情绪识别进行研究。[0004]基于姿态信息的情绪识别在近几年才发展起来，相关的研究较少，主要集中于传统算法的研究。Li等[1]提出了一种利用原始骨架坐标和骨架运动进行行为识别与分类；Piana等[2]提出一个从全身运动出发的情绪自动识别模型和系统，它用于帮助自闭症儿童学会识别和通过全身运动来表达情感。同样也有人将人体姿态的运动特征和高级的运动学几何特征进行组合，进行聚