表情识别模型的训练方法、识别方法、装置、设备及介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112348001A(43)申请公布日2021.02.09(21)申请号202110022518.5G06N3/04(2006.01)(22)申请日2021.01.08(71)申请人北京沃东天骏信息技术有限公司地址100176北京市大兴区北京经济技术开发区科创十一街18号院2号楼4层A402室申请人北京京东世纪贸易有限公司(72)发明人胡一博佘加辉石海林梅涛周伯文(74)专利代理机构北京律智知识产权代理有限公司11438代理人孙宝海阚梓瑄(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)权利要求书4页说明书19页附图6页(54)发明名称表情识别模型的训练方法、识别方法、装置、设备及介质(57)摘要本公开涉及一种表情识别模型的训练方法及装置、表情识别方法及装置、电子设备及计算机可读介质，属于深度学习技术领域。该方法包括：获取人脸图像样本以及样本类型标签作为训练数据；获取卷积神经网络并进行特征提取得到样本特征；将卷积神经网络中的卷积层拆分为一条训练主路和多条训练支路，通过训练支路得到样本潜在类型的预测结果，并通过训练主路得到样本真实类型的预测结果；得到支路损失函数和主路损失函数；通过支路损失函数和主路损失函数对卷积神经网络中的神经网络参数进行迭代更新。本公开通过将卷积神经网络拆分为一条训练主路和多条训练支路，并通过训练支路挖掘样本潜在类型信息，可以提高表情识别模型的识别准确率。CN112348001ACN112348001A权利要求书1/4页1.一种表情识别模型的训练方法，其特征在于，包括：获取人脸图像样本以及所述人脸图像样本对应的样本类型标签，并将所述人脸图像样本和所述样本类型标签作为表情识别模型的训练数据；获取用于训练所述表情识别模型的卷积神经网络，并通过所述卷积神经网络对所述人脸图像样本进行特征提取，得到所述人脸图像样本对应的样本特征；将所述卷积神经网络中的卷积层拆分为一条训练主路和多条训练支路，根据所述训练数据和所述样本特征，通过所述训练支路得到样本潜在类型的预测结果，并通过所述训练主路得到样本真实类型的预测结果；根据所述训练数据以及所述训练支路的预测结果得到支路损失函数，并根据所述训练数据以及所述训练主路和各个训练支路的预测结果得到主路损失函数；通过所述支路损失函数和所述主路损失函数对所述卷积神经网络中的神经网络参数进行迭代更新，以训练所述表情识别模型。2.根据权利要求1所述的表情识别模型的训练方法，其特征在于，所述将所述卷积神经网络中的卷积层拆分为一条训练主路和多条训练支路，包括：获取所述人脸图像样本对应的样本类型的数量，并根据所述样本类型的数量确定所述训练支路的数量；根据所述训练支路的数量将所述卷积神经网络中的卷积层拆分为一条训练主路和多条训练支路。3.根据权利要求1所述的表情识别模型的训练方法，其特征在于，所述根据所述训练数据和所述样本特征，通过所述训练支路得到样本潜在类型的预测结果，包括：对于每一条所述训练支路，分别将所述训练数据中与所述训练支路相对应的一个样本类型的训练数据和样本特征剔除，作为所述训练支路对应的支路反向训练数据；根据各个所述训练支路对应的支路反向训练数据分别对各个所述训练支路进行反向传播，得到所述训练支路的反向输出数据；获取与所述训练支路相对应的一个样本类型的所述训练数据和所述样本特征，作为所述训练支路对应的支路前向训练数据；根据所述训练支路对应的支路前向训练数据和所述训练支路的反向输出数据进行前向传播，得到所述训练支路对应的样本潜在类型的预测结果；其中，所述训练支路对应的样本潜在类型的预测结果为所述训练支路对应的样本类型的人脸图像样本属于其他样本类型的概率。4.根据权利要求1所述的表情识别模型的训练方法，其特征在于，所述支路损失函数包括支路交叉熵损失函数，所述根据所述训练数据以及所述训练支路的预测结果得到支路损失函数，包括：根据所述训练支路中各个所述样本类型的人脸图像样本的特征数据，以及所述训练支路的预测结果，计算所述训练支路中各个所述样本类型的样本交叉熵；对所述训练支路中各个所述样本类型的样本交叉熵求平均值，得到所述训练支路的支路交叉熵损失函数。5.根据权利要求1所述的表情识别模型的训练方法，其特征在于，所述主路损失函数包括主路均方误差损失函数，所述根据所述训练数据以及所述训练主路和各个训练支路的预2CN112348001A权利要求书2/4页测结果得到主路损失函数，包括：根据所述训练主路的预测结果与所述训练支路的预测结果之间的差值，得到预测误差；对所述训练主路中各个所述样本类型的预测误差的范数求平均值，得到所述训练主路的主路均方误差损失函数。6.根据权利要求1所述的表情识别模