一种多特征融合的表情识别方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114596605A(43)申请公布日2022.06.07(21)申请号202110698674.3(22)申请日2021.06.23(71)申请人西南科技大学地址621010四川省绵阳市涪城区青龙大道中段59号(72)发明人张红英韩兴方艳红(51)Int.Cl.G06V40/16(2022.01)G06V10/80(2022.01)G06V10/82(2022.01)G06K9/62(2022.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书6页附图3页(54)发明名称一种多特征融合的表情识别方法(57)摘要本发明提出一种基于自我修正与融合多尺度特征改进VGGNet的表情识别方法。该方法首先在VGGNet16网络前端新增一个多尺度特征提取网络结构，并将不同深度网络提取的多种特征进行支路特征融合，保留更完善的特征信息；然后通过在每个卷积层之后使用批量标准化，并在全连接层之后使用Dropout，以此加快网络模型收敛速率，降低网络模型发生梯度消失与过拟合的概率；最后在网络的后端加入自我修正网络，抑制样本的标注不确定性为网络模型训练带来的影响。该方法可在标注不确定数据集上以更高的精度识别出七种基本的表情。CN114596605ACN114596605A权利要求书1/2页1.一种多特征融合的表情识别方法，其特征在于包含数据集预处理，VGGNet16网络进行多尺度特征提取与融合，添加批量标准化与Dropout模块，在网络的后端加入自我修正网络，网络训练与测试五个部分：第一部分包括两个步骤：步骤1，下载自然场景下的人脸表情数据集（RAF‑DB），然后选取数据集中单标签训练集12271张图片和测试集3068张图片作为模型训练测试样本；步骤2，判断图像是否为灰度图，不是则将其转化为灰度图，使得光照对人脸表情识别的影响降到最低；然后将其尺寸变换为96×96大小，并对图像经旋转，平移等基础操作增强训练样本集，形成最终的训练集样本；第二部分包括两个步骤：步骤3，将步骤2中的训练样本输入VGGNet16网络，在VGGNet16网络前端新增一个多尺度特征提取网络结构作为网络第一层，采用三个不同大小的卷积核对原图像进行特征提取，并将三个不同大小卷积核提取的多种特征进行特征融合，该结构相较只使用3×3卷积核时丢失信息更少，能够保留更完善的特征信息；步骤4，对步骤3改进后的VGGNet16网络的第二个卷积组和第三个卷积组之间添加快捷连接至全连接层前，构成支路特征融合模块，将不同阶段的特征融合在一起，促使网络学习到更多的特征；第三部分包括两个步骤：步骤5，将步骤3、4改进后的VGGNet16网络每个卷积层之后使用批量标准化，加快网络模型的收敛速率，增加模型泛化性；步骤6，将步骤3、4、5改进后的VGGNet16网络在每个全连接层之后使用Dropout，弃置部分神经元，加入部分干扰，增加模型的健壮性，减少模型参数量；第四部分包括五个步骤：步骤7，将步骤3、4、5、6改进后的VGGNet16网络提取到的特征通过自我注意力模块进行关键程度加权，通过权重值大小区分出关键样本与非关键样本，优先关注关键的样本，提升网络对关键样本的权重值；步骤8，将步骤7得到的关键程度权重采用logit模型用于原网络模型使用的交叉熵损失函数加权，避免非关键部分样本对网络学习的误导；步骤9，对步骤7得到的关键程度权重通过排序正则化模块进行比较，然后将所有权重按照大小从高到低排列，将关键程度权重值按照一定比例划分为关键部分与非关键部分；步骤10，将步骤9的每个部分的权重值进行平均取均值，并通过排序正则化约束关键部分的均值比非关键部分的均值高出一个阈值，将自我注意力模块与排序正则化模块两个损失函数结合得到自我修正网络最终损失函数；步骤11，将步骤9中得到的非关键部分样本通过再标注模块将最大预测概率与样本原标签的预测概率相减，若两者的差值大于给定的范围参数值，那么该样本则进行标签再标注工作，将其最大预测概率作为其重新标注的正确标签；第五部分包括两个步骤：步骤12，调试从步骤3到步骤11的网络结构超参数，并得到最终的训练模型；步骤13，将步骤1中训练集输入步骤12中的训练模型中，得到表情识别图像结果。2CN114596605A权利要求书2/2页2.根据权利要求1所述的一种多特征融合的表情识别方法，其特征在于，利用步骤3的多尺度特征提取网络结构，保留更完善的特征信息。3.根据权利要求1所述的一种多特征融合的表情识别方法，其特征在于，步骤5中将每个卷积层之后使用批量标准化，加快网络模型的收敛速率，增加模型泛化性。4.根据权利要求1所述的一种多特征融合的表情识别方法，其特征在于，利用步骤6在每个全