一种基于共享集成卷积神经网络的戏曲人物面部表情识别方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114743251A(43)申请公布日2022.07.12(21)申请号202210562515.5(22)申请日2022.05.23(71)申请人西北大学地址710069陕西省西安市太白北路229号(72)发明人耿国华田蓉蓉王小凤周蓬勃杨滢乔相茹孙超李治权(74)专利代理机构西安众和至成知识产权代理事务所(普通合伙)61249专利代理师强宏超(51)Int.Cl.G06V40/16(2022.01)G06N3/04(2006.01)G06N3/08(2006.01)G06V10/82(2022.01)权利要求书2页说明书4页附图2页(54)发明名称一种基于共享集成卷积神经网络的戏曲人物面部表情识别方法(57)摘要本发明公开了一种基于共享集成卷积神经网络的戏曲人物面部表情识别方法，采用的集成卷积神经网络分为共享层以及不同的卷积分支层，共享层主要学习输入戏曲人物面部图片的低级特征，即面部肤色、纹理等特征，卷积分支层可以在其现有基础上不断学习，得到越来越复杂的概念，给其赋予语义特征，例如鼻子、嘴巴和眼睛等关键表情特征以及妆容特征信息，然后本模型经过训练得到最佳的共享层数和卷积分支数，高效识别戏曲人物的表情变化；本发明结构完整，完善了集成神经网络训练时的高参数冗余问题，加快了模型训练速度，减少了训练时间，提高了识别精度。CN114743251ACN114743251A权利要求书1/2页1.一种基于共享集成卷积神经网络的戏曲人物面部表情识别方法，其特征在于包括如下步骤：步骤1，对收集的戏曲人物表情资源库进行预处理，裁去图片的整体信息，只保留戏曲人物的面部图片；步骤2，将经步骤1处理后的图片其中一部分作为训练集，一部分作为验证集，剩下部分作为测试集，分批导入共享集成卷积神经网络；步骤3，定义共享集成卷积神经网络模型的组合损失函数为每个分支函数的总和，组合损失函数Lesr如式(1)：其中b代表卷积分支索引，(xi,yi)表示训练集中的随机样本，θshared代表共享层数，θb代表卷积分支的个数；步骤4，提取戏曲人物面部低级特征，即面部肤色、纹理等特征，初始化共享层的卷积层数θshared，并在其后加入通道‑空间注意力机制模块，有效减少网络冗余；步骤5，提取戏曲演员关键表情，妆容特征，从第一层开始分支循环到最大的卷积层数，初始化卷积层的卷积分支数θb，将新的卷积分支加入到共享集成卷积神经网络中，动态添加卷积分支；步骤6，随机选取训练集的一个子集训练集D进行小批量随机梯度下降，得到每一层的卷积分支的损失值Lb'，将其送入共享集成卷积神经网络中；步骤7，利用反向传播算法，不断优化共享集成卷积神经网络，训练结果最优的卷积分支数以及共享层数；步骤8，利用类激活热力图对戏曲人物面部可视化，获取模型输出相对于最后一个卷积层输出的梯度，表征出最后一层卷积层激活输出各点位的权重值式(2)为权重计算公式：其中c代表类别，k代表特征图的通道数，A代表卷积输出的特征图，ij代表特征图的横纵坐标，Z表示特征图的尺寸，yc代表某一类别对应的概率值；步骤9，如公式(3)得到权重后将featuremap的通道线性加权融合在一起即得到热力图：步骤10，利用类激活热力图对融合后的热力图增加一个线性激活(Relu)操作，只保留对于类别c有正作用的区域其中线性激活(Relu)函数计算公式为：f(x)＝max(0,x)(4)2CN114743251A权利要求书2/2页步骤11，将步骤1处理后的图像与经过步骤9得到的特征图叠加后进行可视化，得到最终展示效果。2.一种如权利要求1所述基于共享集成卷积神经网络的戏曲人物面部表情识别方法，其特征在于：所述步骤1中裁去图片的整体信息后并将人脸图像的大小调整为96*96像素大小，并进行归一化处理。3.一种如权利要求1所述基于共享集成卷积神经网络的戏曲人物面部表情识别方法，其特征在于：所述步骤1中将处理后的70％的图片作为训练集，10％的图片作为验证集，20％的图片作为测试集，分批导入共享集成卷积神经网络。3CN114743251A说明书1/4页一种基于共享集成卷积神经网络的戏曲人物面部表情识别方法技术领域[0001]本发明属于人脸识别技术领域，涉及深度学习技术，具体涉及基于共享集成卷积神经网络的戏曲人物面部表情识别方法。背景技术[0002]戏曲艺术作为中华非物质文化遗产，是中华文明传承的重要载体。传播、传承、推广戏曲艺术，对传承我国优秀文化，丰富人们精神世界，增强民族自信的意义深远。戏曲人物面部表情是传达其情绪状态和意图的最自然，最有力和普遍的信号之一，因此研究戏曲人物的表情是具有深刻意义的。[0003]实现戏曲人物的表情识别首先要对普通的人脸进行表情识别，人脸表情识别就是让计算