模型训练、合成帧生成、视频识别方法和装置以及介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113902000A(43)申请公布日2022.01.07(21)申请号202111156859.8H04N19/42(2014.01)(22)申请日2021.09.30H04N19/50(2014.01)(71)申请人京东科技信息技术有限公司地址100176北京市大兴区北京经济技术开发区科创十一街18号院2号楼6层601(72)发明人邱钊凡姚霆梅涛(74)专利代理机构中国贸促会专利商标事务所有限公司11038代理人方亮(51)Int.Cl.G06K9/62(2006.01)G06K9/00(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书3页说明书10页附图5页(54)发明名称模型训练、合成帧生成、视频识别方法和装置以及介质(57)摘要本公开提供了一种模型训练、合成帧生成、视频识别方法和装置以及存储介质，其中的训练方法包括：使用合成帧生成模型对视频帧训练序列进行压缩处理，获得二维合成帧；使用联合训练模型对二维合成帧进行相应的处理，并基于处理结果构建第一损失函数；根据视频帧训练序列和二维合成帧的颜色信息，构建第二损失函数；基于第一损失函数和第二损失函数，对合成帧生成模型和联合训练模型进行联合训练。本公开的方法和装置以及存储介质，生成的二维合成帧具有对于视频视觉细节、视频类别与视频动作信息还原的能力，并且在视觉细节上与颜色空间上和正常图片接近，能够在合成帧中保留更多的视频信息；可以降低对视频进行识别的运算量和模型训练的工作量。CN113902000ACN113902000A权利要求书1/3页1.一种模型训练方法，包括：使用合成帧生成模型对视频帧训练序列进行压缩处理，获得二维合成帧；使用联合训练模型对所述二维合成帧进行相应的处理，并基于处理结果构建第一损失函数；根据所述视频帧训练序列和所述二维合成帧的颜色信息，构建第二损失函数；基于所述第一损失函数和所述第二损失函数，对所述合成帧生成模型和所述联合训练模型进行联合训练。2.如权利要求1所述的方法，其中，所述使用合成帧生成模型对视频帧训练序列进行压缩处理，获得二维合成帧包括：在所述视频帧训练序列中确定关键帧；确定所述视频帧训练序列中的其他帧与所述关键帧相对应的运动向量和残差；基于所述关键帧和所述运动向量以及所述残差，生成视频压缩序列，使用所述合成帧生成模型并基于所述视频压缩序列生成所述二维合成帧。3.如权利要求1所述的方法，其中，所述联合训练模型包括：视觉信息重建模型；所述第一损失函数包括：视觉信息重建损失函数；所述使用联合训练模型对所述二维合成帧进行相应的处理，并基于处理结果构建第一损失函数包括：使用所述视觉信息重建模型生成与所述二维合成帧相对应的还原关键帧；基于所述还原关键帧和所述关键帧之间的差异信息，构建所述视觉信息重建损失函数。4.如权利要求1所述的方法，所述联合训练模型包括：视频分类模型；所述第一损失函数包括：视频分类损失函数；所述使用联合训练模型对所述二维合成帧进行相应的处理，并基于处理结果构建第一损失函数包括：使用所述视频分类模型生成与所述二维合成帧相对应的类别预测概率；基于所述类别预测概率和所述合成帧的类别标注信息，构建所述视频分类损失函数。5.如权利要求1所述的方法，所述联合训练模型包括：动态信息预测模型；所述第一损失函数包括：动态信息预测损失函数；所述使用联合训练模型对所述二维合成帧进行相应的处理，并基于处理结果构建第一损失函数包括：使用所述动态信息预测模型并基于所述二维合成帧，生成与所述关键帧相对应的预测运动向量和预测残差；确定所述预测运动向量和与所述关键帧相对应的运动向量之间的第一差值；确定所述预测残差和与所述关键帧相对应的残差之间的第二差值；基于所述第一差值和所述第二差值，构建所述动态信息预测损失函数。6.如权利要求1所述的方法，所述联合训练模型包括：判别器模型；所述第一损失函数包括：合成帧生成损失函数；所述使用联合训练模型对所述二维合成帧进行相应的处理，并基于处理结果构建第一损失函数包括：使用所述判别器模型对所述合成帧生成模型生成的二维合成帧和所述关键帧进行判决处理；根据所述判别结果生成所述合成帧生成损失函数。7.如权利要求1所述的方法，所述第二损失函数包括：颜色一致性损失函数；所述根据2CN113902000A权利要求书2/3页所述视频帧训练序列和所述二维合成帧的颜色信息，构建第二损失函数包括：确定所述视频帧训练序列中的各个视频帧的第一颜色通道平均值；基于所述二维合成帧的第二颜色通道平均值和所述第一颜色通道平均值的差值，构建所述颜色一致性损失函数。8.如权利要求1所述的方法，其中，所述合成帧生成模型和所述联合训练模型包括：神经网络模