基于多任务深度学习的情感识别方法、系统及存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN116030526A(43)申请公布日2023.04.28(21)申请号202310165454.3G06V10/82(2022.01)(22)申请日2023.02.27(71)申请人华南农业大学地址510642广东省广州市天河区五山路483号(72)发明人王金凤郑志燊苏志坚黄可李杏圆许健恒尤茵茵刘星宇(74)专利代理机构广州市华学知识产权代理有限公司44245专利代理师戴晓琴(51)Int.Cl.G06V40/16(2022.01)G06N3/0464(2023.01)G06N3/048(2023.01)G06Q50/20(2012.01)权利要求书3页说明书12页附图3页(54)发明名称基于多任务深度学习的情感识别方法、系统及存储介质(57)摘要本发明公开了一种基于多任务深度学习的情感识别方法、系统及存储介质，所述方法包括：获取情感数据集；情感数据集包括多张课堂学生图像，在课堂学生图像中标注每个学生的情感状态标签；构建的多任务深度学习网络模型包括图像表征学习网络、图像重构网络和多任务标签生成网络；利用图像表征学习网络对课堂学生图像进行特征提取，得到表征向量；利用图像重构网络对表征向量进行图像重构；利用多任务标签生成网络根据表征向量预测情感状态标签；利用情感数据集训练多任务深度学习网络模型，计算损失函数并更新模型的权重；将待识别图像输入训练好的多任务深度学习网络模型中，预测情感状态标签。本发明利用构建的网络模型提高了情感识别的准确率。CN116030526ACN116030526A权利要求书1/3页1.一种基于多任务深度学习的情感识别方法，其特征在于，所述方法包括：获取情感数据集；所述情感数据集包括多张课堂学生图像，在课堂学生图像中标注每个学生的情感状态标签；构建多任务深度学习网络模型；所述多任务深度学习网络模型包括图像表征学习网络、图像重构网络和多任务标签生成网络；利用所述图像表征学习网络对课堂学生图像进行特征提取，得到表征向量；利用所述图像重构网络对所述表征向量进行图像重构；利用所述多任务标签生成网络根据所述表征向量预测情感状态标签；利用所述情感数据集训练多任务深度学习网络模型，计算损失函数并进行标准梯度反向传播，更新网络模型的权重；将待识别图像输入训练好的多任务深度学习网络模型中，预测情感状态标签。2.根据权利要求1所述的情感识别方法，其特征在于，在多任务深度学习网络模型中添加特征域鉴别网络，得到多任务自对抗深度学习网络模型；所述特征域鉴别网络与图像表征学习网络构成对抗网络；计算特征域鉴别网络的损失函数并进行负梯度反向传播，更新网络模型的权重。3.根据权利要求2所述的情感识别方法，其特征在于，根据所述表征向量和多任务标签生成网络生成的特定域特征向量，得到真值标签；所述特定域特征向量包括情感域特征向量、抬头状态域特征向量和视线方向域特征向量；将所述表征向量和特定域特征向量输入特征域鉴别网络，得到鉴别结果；根据所述真值标签和鉴别结果，计算特征域鉴别网络的损失函数；根据计算的损失函数的值，优化图像表征学习网络的权重。4.根据权利要求3所述的情感识别方法，其特征在于，所述特征域鉴别网络包括自注意力层、层归一化、线性层、批归一化和ReLU层；所述鉴别结果包括情感特征域鉴别结果、抬头状态特征域鉴别结果和视线方向特征域鉴别结果；所述将所述表征向量和特定域特征向量输入特征域鉴别网络，得到鉴别结果，包括：将所述表征向量和情感域特征向量进行拼接，将拼接后向量输入自注意力层，通过自注意力机制提取关联特征；将自注意力层输出的结果与拼接后向量进行加操作，将加操作后向量依次经过层归一化、线性层、批归一化、ReLU层和线性层处理，得到情感特征域鉴别结果；同理，将所述表征向量和抬头状态域特征向量进行拼接，将拼接后向量输入特征域鉴别网络，得到抬头状态特征域鉴别结果；同理，将所述表征向量和视线方向域特征向量进行拼接，将拼接后向量输入特征域鉴别网络，得到视线方向特征域鉴别结果。5.根据权利要求3所述的情感识别方法，其特征在于，所述多任务标签生成网络包括情感标签生成网络、抬头状态标签生成网络和视线方向标签生成网络；所述根据所述表征向量和多任务标签生成网络生成的特定域特征向量，得到真值标签，包括：所述表征向量和情感域特征向量均分别依次经过情感标签生成网络的FC层和Softmax层处理，得到两个结果；两个结果若一致，则表示表征向量和情感域特征向量属于同一个特2CN116030526A权利要求书2/3页定域，真值标签为1；否则表示表征向量和情感域特征向量不属于同一个特定域，真值标签为0；同理，所述表征向量和抬头状态域特征向量均分别经过抬头状态标签生成网络的FC层和Softmax层处理，根据两个结果得到