一种基于注意力和多尺度特征融合的表情识别方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115966010A(43)申请公布日2023.04.14(21)申请号202310069723.6G06N3/0464(2023.01)(22)申请日2023.02.07G06N3/08(2023.01)(71)申请人南京邮电大学地址210003江苏省南京市鼓楼区新模范马路66号(72)发明人周同瑄王宇洪旻珂尹海涛(74)专利代理机构南京正联知识产权代理有限公司32243专利代理师王素琴(51)Int.Cl.G06V40/16(2022.01)G06V10/80(2022.01)G06V10/82(2022.01)G06V10/774(2022.01)G06N3/048(2023.01)权利要求书3页说明书5页附图1页(54)发明名称一种基于注意力和多尺度特征融合的表情识别方法(57)摘要本发明属于计算机视觉技术领域，公开了一种基于注意力和多尺度特征融合的表情识别方法，采用fer2013人脸表情数据集，分为训练集、测试集和验证集；构建多尺度特征提取层，加入不同膨胀率的空洞卷积，提取人脸表情图像的尺度信息特征，并进行融合；采用通道注意力机制模块；设计残差模块，将单元的输入直接与单元输出加在一起再进行激活；以ResNet为框架，用构建出的多尺度模块搭建网络；将训练集输入到最终的网络结构中，采用交叉熵损失函数和随机梯度下降优化器进行训练，并将测试集输入到训练好的网络结构中，得到表情分类结果。本发明提高人脸表情识别的精确度，便于人脸识别在医学、心理学、人机交互等领域中的应用。CN115966010ACN115966010A权利要求书1/3页1.一种基于注意力和多尺度特征融合的表情识别方法，其特征在于：所述情识别方法包括如下步骤：步骤1：采用fer2013人脸表情数据集，对数据集进行预处理，并将数据集分为训练集、测试集和验证集；步骤2：构建多尺度特征提取层，采用三个分支，加入不同膨胀率的空洞卷积，提取人脸表情图像的不同尺度信息特征，并将提取到的信息特征进行融合；步骤3：采用通道注意力机制模块，使模型关注重要的特征通道；步骤4：以跳层连接的形式设计残差模块，将单元的输入直接与单元输出加在一起再进行激活；步骤5：以ResNet为框架，用构建出的多尺度模块搭建网络；步骤6：将训练集输入到最终的网络结构中，采用交叉熵损失函数和随机梯度下降优化器进行训练，并将测试集输入到训练好的网络结构中，得到表情分类结果。2.根据权利要求1所述的一种基于注意力和多尺度特征融合的表情识别方法，其特征在于：所述步骤2具体包括如下步骤：步骤2‑1：利用最大池化很好地提取特征信息，并使用ReLU激活函数使神经网络学习到非线性映射；步骤2‑2：构建多尺度特征提取层，提取图像的多尺度结构特征，采用三个分支，分别加入膨胀率为1、2、3的空洞卷积，图像经过不同通道后，再进行融合。3.根据权利要求2所述的一种基于注意力和多尺度特征融合的表情识别方法，其特征在于：所述步骤2‑2具体包括如下步骤：步骤2‑2‑1：输入图像经过卷积核为1×1的卷积层，将通道数改为网络结构可以容纳的通道数；步骤2‑2‑2：将图像分别经过膨胀率为1、2、3的空洞卷积通道，卷积核都为3，空洞卷积的膨胀率越大，卷积核的感受野越大，经过空洞卷积操作后，若输入层为输出层的尺寸为：w0＝(w‑1)*(d‑1)+wh0＝(h‑1)*(d‑1)+h其中，d、k、w、h、s和p分别表示膨胀率、卷积核个数、宽度、高度、步长和填充值；步骤2‑2‑3：将经过三个通道特征在同特征维度进行拼接操作，假设三个通道的通道数分别为c1、c2、c3，则拼接操作后结果的维度为：N×(c1+c2+c3)×H×W其中，N、H和W分别为样本数、图像高度和图像宽度；步骤2‑2‑4：经过卷积层后，进行归一化，对图像进行归一化操作后再用ReLU函数进行激活。4.根据权利要求1所述的一种基于注意力和多尺度特征融合的表情识别方法，其特征2CN115966010A权利要求书2/3页在于：所述步骤3具体包括如下步骤：步骤3‑1：对特征通道U＝[u1，u2，...，uc]进行压缩，用全局平均池化的方式将每个特征通道上的W×H特征图压缩为一个具有全局感受野的实数，一个通道上的全局特征zc为：其中H和W分别为特征图的高度和宽度，压缩后的特征为z＝[z1，z2，...，zc]；步骤3‑2：对压缩后的特征z进行激励，先后进行2个全连接层和激活函数Sigmoid操作，最终得到归一化权重，对应的数学表达式为：s＝σ(g(z，W))＝σ(W2δ(W1z))其中σ和δ分别代表Sigmoid和ReLU激活函数，r为超参数“压缩比”，取整数16，对特征通道U＝[u1，u2，...，uc]赋予权重s，得到输出特征X＝[