一种基于改进残差神经网络的人脸表情识别方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115937937A(43)申请公布日2023.04.07(21)申请号202211530645.7G06V10/764(2022.01)(22)申请日2022.12.01G06V10/80(2022.01)G06N3/0464(2023.01)(71)申请人杭州电子科技大学G06N3/048(2023.01)地址310018浙江省杭州市下沙高教园区2G06N3/08(2023.01)号大街(72)发明人张旭光张伟光谢强伟方银锋(74)专利代理机构杭州浙科专利事务所(普通合伙)33213专利代理师陈洁(51)Int.Cl.G06V40/16(2022.01)G06V10/82(2022.01)G06V10/44(2022.01)G06V10/26(2022.01)G06V10/774(2022.01)权利要求书2页说明书7页附图5页(54)发明名称一种基于改进残差神经网络的人脸表情识别方法(57)摘要本发明属于图像识别技术领域，公开了一种基于改进残差神经网络的人脸表情识别方法，包括如下步骤：步骤1：数据预处理；步骤2：构建基于改进残差神经网络的人脸表情识别模型；步骤3：对人脸识别模型进行迭代训练；步骤4：基于训练好的人脸表情识别模型获取人脸表情识别结果。本发明基于残差思想设计了两种残差模块，防止了网络退化问题的出现。本发明引入了Inception模块，解决了特征提取不够丰富的问题。本发明使用了较新的Mish激活函数替换了常用的ReLu激活函数，进一步提高了模型的鲁棒性，提高了人脸表情识别的精度。本发明构建的网络中采用学习率衰减的机制，防止了过拟合现象的发生。CN115937937ACN115937937A权利要求书1/2页1.一种基于改进残差神经网络的人脸表情识别方法，其特征在于，包括如下步骤：步骤1：数据预处理；步骤2：构建基于改进残差神经网络的人脸表情识别模型；步骤3：对人脸识别模型进行迭代训练；步骤4：基于训练好的人脸表情识别模型获取人脸表情识别结果。2.根据权利要求1所述的基于改进残差神经网络的人脸表情识别方法，其特征在于，所述步骤1包括如下步骤：步骤1.1：获取人脸图像数据集，使用haar算法对数据的人脸区域进行识别，然后将人脸部分进行裁剪，并将图片大小调整为48*48大小，并将其按照8:2划分为训练集和测试集；步骤1.2：获取的人脸表情数据集为CK+表情数据集和KDEF数据集，所述CK+表情数据集包括了123位受试者的593个视频序列，其中有327个视频序列的最后一帧标记了表情的标签，选取每个人物带有标签的图片序列中的最后三张图片，一共981张图片，包含7种情绪：愤怒，蔑视，厌恶，害怕，高兴，伤心，惊讶；所述KDEF数据集共有4900张图片，选取了正脸图片共980张作为实验数据集，共包含7种情绪：愤怒，中性，厌恶，害怕，高兴，伤心，惊讶。3.根据权利要求1所述的基于改进残差神经网络的人脸表情识别方法，其特征在于，所述步骤2的模型包括残差特征提取模块、Inception特征提取模块和分类模块。4.根据权利要求3所述的基于改进残差神经网络的人脸表情识别方法，其特征在于，所述残差特征提取模块，包括1个卷积层、7个残差模块一和2个残差模块二，其中残差模块一包括2个卷积层、2个批处理层；残差模块二包括3个卷积层、3个批处理层；所述残差特征提取模块中使用Mish激活函数，如下所示：f(x)＝x·tanh(ln(1+ex))其中跳层连接采用的是特征相加的方法，公式如下所示：其中1≤h≤H、1≤w≤W、1≤c≤C、点(h,w,c)表示与特征地图对应的坐标的像素值，表示特征a，表示特征b，表示相加后的特征。5.根据权利要求3所述的基于改进残差神经网络的人脸表情识别方法，其特征在于，所述Inception特征提取模块由9个Inception模块构成，其中特征融合采用的特征拼接的方法，公式如下所示：其中1≤h≤H、1≤w≤W、1≤c≤C、点(h,w,c)表示与特征地图对应的坐标的像素值，表示特征a，表示特征b，和表示特征拼后的特征。6.根据权利要求3所述的基于改进残差神经网络的人脸表情识别方法，其特征在于，所述分类模块使用Softmax激活函数和交叉熵损失函数，如下所示：2CN115937937A权利要求书2/2页Softmax公式中：i表示输出节点数；xi是第i个节点的输出值，K表示输出节点的标签，即从1到K，K是输出节点的数量，即分类类别的数量，多分类输出值通过Softmax函数转换为[0,1]范围内的概率分布，损失函数公式中，是Softmax函数后生成的预测值，yi是真实值。7.根据权利要求1所述的基于改进残差神经网络的人脸表情识别方法，其特征在于，所述步骤3包括如下