训练方法、识别方法、装置、电子设备和可读存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113239799A(43)申请公布日2021.08.10(21)申请号202110516757.6(22)申请日2021.05.12(71)申请人北京沃东天骏信息技术有限公司地址100176北京市大兴区北京经济技术开发区科创十一街18号院2号楼4层A402室(72)发明人陶大程翟英杰(74)专利代理机构北京律智知识产权代理有限公司11438代理人孙宝海袁礼君(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)权利要求书3页说明书13页附图7页(54)发明名称训练方法、识别方法、装置、电子设备和可读存储介质(57)摘要本公开提供了一种训练方法、识别方法、装置、电子设备和可读存储介质，涉及情感识别技术领域。其中，情感识别模型的训练方法包括：获取姿势分支样本和动作分支样本；根据姿势分支样本训练姿势分支模型，得到第一预测信息和情感回归限制信息；根据动作分支样本训练动作分支模型，得到第二预测信息；根据姿势分支样本、第一预测信息和情感回归限制信息确定第一分支损失函数，以根据第一分支损失函数优化姿势分支模型；根据动作分支样本和第二预测信息确定第二分支损失函数，以根据第二分支损失函数优化动作分支模型；根据优化后的姿势分支模型和动作分支模型，生成情感识别模型。通过本公开的技术方案，有利于提升训练得到的情感识别模型的鲁棒性。CN113239799ACN113239799A权利要求书1/3页1.一种情感识别模型的训练方法，其特征在于，所述情感识别模型包括姿势分支模型和动作分支模型，所述训练方法包括：基于视频序列获取姿势分支样本和动作分支样本；根据所述姿势分支样本训练所述姿势分支模型，并得到第一预测信息和情感回归限制信息；根据所述动作分支样本训练所述动作分支模型，并得到第二预测信息；根据所述姿势分支样本、所述第一预测信息和所述情感回归限制信息确定第一分支损失函数，以根据所述第一分支损失函数优化所述姿势分支模型；根据所述动作分支样本和所述第二预测信息确定第二分支损失函数，以根据所述第二分支损失函数优化所述动作分支模型；根据优化后的所述姿势分支模型和所述动作分支模型，生成所述情感识别模型。2.根据权利要求1所述的情感识别模型的训练方法，其特征在于，所述姿势分支样本包括表示情感种类的独热编码和表示先验情感特征的多维特征，根据所述姿势分支样本、所述第一预测信息和所述情感回归限制信息确定第一分支损失函数，具体包括：根据所述独热编码和所述第一预测信息构建基于交叉熵的第一子损失函数；根据所述情感回归限制信息和所述多维特征构建基于均方差的第二子损失函数；根据所述第一子损失函数和所述第二子损失函数确定所述第一分支损失函数。3.根据权利要求2所述的情感识别模型的训练方法，其特征在于，还包括：根据人类骨骼关节点中的三个相邻的关节点形成的夹角确定角度特征；根据所述人类骨骼关节点中的两个非相邻关节点之间的欧式距离确定距离特征；根据所述三个相邻的关节点形成的三角形的面积确定面积特征；根据所述角度特征、所述距离特征和所述面积特征构建所述表示先验情感特征的多维特征。4.根据权利要求1所述的情感识别模型的训练方法，其特征在于，所述动作分支样本包括表示情感种类的独热编码，所述根据所述动作分支样本和所述第二预测信息确定第二分支损失函数，具体包括：根据所述独热编码和所述第二预测信息构建基于交叉熵的所述第二分支损失函数。5.根据权利要求1所述的情感识别模型的训练方法，其特征在于，所述姿势分支样本包括表示姿势的第一步态序列，所述根据所述姿势分支样本训练所述姿势分支模型，并得到第一预测信息和情感回归限制信息，具体包括：将所述第一步态序列输入第一混合时空图卷积网络，输出第一二维特征；将所述第一二维特征进行全局平均池化处理，输出第一深度特征；将所述第一深度特征输入第一全连接层，输出所述情感回归限制信息；将所述第一深度特征输入第二全连接层，输出第一预测向量；对所述第一预测向量进行归一化处理，得到所述第一预测信息。6.根据权利要求1所述的情感识别模型的训练方法，其特征在于，所述动作分支样本包括表示运动的第二步态序列，所述根据所述动作分支样本训练所述动作分支模型，并得到第二预测信息，具体包括：将所述第二步态序列输入第二混合时空图卷积网络，输出第二二维特征；2CN113239799A权利要求书2/3页将所述第二二维特征进行全局平均池化处理，输出第二深度特征；将所述第二深度特征输入第三全连接层，输出第二预测向量；对所述第二预测向量进行归一化处理，得到所述第二预测信息。7.根据权利要求1至6中任一项所述的情感识别模型的训练方法，其特征在于，所述基于视频序列获取姿