视觉模型训练和视频处理方法、装置、设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114283350A(43)申请公布日2022.04.05(21)申请号202111092197.2G06N20/00(2019.01)(22)申请日2021.09.17(71)申请人腾讯科技（深圳）有限公司地址518044广东省深圳市南山区高新区科技中一路腾讯大厦35层(72)发明人李明达郑镇鑫(74)专利代理机构北京同达信恒知识产权代理有限公司11291代理人朱佳(51)Int.Cl.G06V20/40(2022.01)G06V10/74(2022.01)G06V10/774(2022.01)G06V10/764(2022.01)G06K9/62(2022.01)权利要求书4页说明书24页附图13页(54)发明名称视觉模型训练和视频处理方法、装置、设备及存储介质(57)摘要本申请实施例提供了一种视觉模型训练和视频处理方法、装置、设备及存储介质，涉及人工智能技术领域，该方法包括：结合预训练和微调训练的方式对待训练的视觉模型进行训练获得目标视觉模型。每次迭代预训练中，基于样本视频帧集合中各个样本视频帧的正样本视觉特征，以及历史迭代预训练中使用的其他样本视频帧的负样本视觉特征获得第一损失函数。在每次迭代微调训练中，基于样本视频帧集合中各个样本视频帧对应的预测视频类别获得第二损失函数，从而使得目标视觉模型的特征表征力会更强，特征区分度更高。采用目标视觉模型提取待处理视频帧的视觉特征并基于视觉特征进行视频相似性判决时，可以有效提高视频相似性判别的准确度。CN114283350ACN114283350A权利要求书1/4页1.一种视觉模型训练方法，其特征在于，包括：获取样本数据，其中，所述样本数据包括多个不同样本视频各自对应的样本视频帧集合；基于所述样本数据对待训练的视觉模型进行至少一次迭代预训练，输出预训练后的视觉模型，其中，在每次迭代预训练中，基于选取的样本视频帧集合中各个样本视频帧各自对应的正样本视觉特征，以及历史迭代预训练中使用的其他样本视频帧各自对应的负样本视觉特征，获得相应的第一损失函数，并采用所述第一损失函数对所述待训练的视觉模型进行参数调整；基于所述样本数据对预训练后的视觉模型进行至少一次迭代微调训练，输出已训练的目标视觉模型，其中，在每次迭代微调训练中，基于选取的样本视频帧集合中各个样本视频帧各自对应的预测视频类别，获得相应的第二损失函数，并采用所述第二损失函数对所述预训练后的视觉模型进行参数调整。2.如权利要求1所述的方法，其特征在于，所述各个样本视频帧包括至少一个第一样本视频帧和至少一个第二样本视频帧；所述基于选取的样本视频帧集合中各个样本视频帧各自对应的正样本视觉特征，以及历史迭代预训练中使用的其他样本视频帧各自对应的负样本视觉特征，获得相应的第一损失函数之前，还包括：采用所述待训练的视觉模型对所述至少一个第一样本视频帧进行特征提取，获得所述至少一个第一样本视频帧各自对应的第一正样本视觉特征；采用参考视觉模型分别对所述至少一个第二样本视频帧进行特征提取，分别获得所述至少一个第二样本视频帧各自对应的第二正样本视觉特征。3.如权利要求2所述的方法，其特征在于，所述采用所述第一损失函数对所述待训练的视觉模型进行参数调整，包括：基于所述至少一个第一样本视频帧各自对应的第一正样本视觉特征，分别确定所述至少一个第一样本视频帧各自对应的预测画布区域；基于所述至少一个第一样本视频帧各自对应的预测画布区域和所述至少一个第一样本视频帧各自对应的基准画布区域，确定第三损失函数；采用所述第一损失函数和所述第三损失函数，对所述待训练的视觉模型进行参数值调整。4.如权利要求2或3所述的方法，其特征在于，在每次迭代预训练中，还包括：基于参数调整后的所述待训练的视觉模型，对所述参考视觉模型进行参数值调整。5.如权利要求1所述的方法，其特征在于，所述基于选取的样本视频帧集合中各个样本视频帧各自对应的预测视频类别，获得相应的第二损失函数之前，包括：采用所述预训练后的视觉模型，分别对所述各个样本视频帧进行特征提取，获得所述各个样本视频帧各自对应的目标样本视觉特征；基于获得的目标样本视觉特征，分别预测所述各个样本视频帧各自对应的预测视频类别。6.如权利要求5所述的方法，其特征在于，所述采用所述第二损失函数对所述预训练后的视觉模型进行参数调整，包括：2CN114283350A权利要求书2/4页基于所述各个样本视频帧各自对应的目标样本视觉特征，确定所述各个样本视频帧分别对应的预测画布区域；基于所述各个样本视频帧分别对应的预测画布区域，以及所述各个样本视频帧分别对应的基准画布区域，确定第四损失函数；采用所述第二损失函数和所述第四损失函数，对所述预训练后的视觉模型进行参数值调整。7.