用于匹配视频的方法、装置、电子设备和介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111831855A(43)申请公布日2020.10.27(21)申请号202010698364.7(22)申请日2020.07.20(71)申请人北京字节跳动网络技术有限公司地址100041北京市石景山区实兴大街30号院3号楼2层B-0035房间(72)发明人邵杰温鑫王长虎(74)专利代理机构北京海智友知识产权代理事务所(普通合伙)11455代理人吴京顺(51)Int.Cl.G06F16/783(2019.01)G06F16/732(2019.01)G06F16/9535(2019.01)G06K9/62(2006.01)权利要求书2页说明书14页附图6页(54)发明名称用于匹配视频的方法、装置、电子设备和介质(57)摘要本申请实施例公开了用于匹配视频的方法和装置。该方法的一具体实施方式包括：获取待匹配视频；从该待匹配视频中提取目标数目的视频帧，生成视频帧集合；提取该视频帧集合中的各视频帧对应的帧特征向量，生成与该待匹配视频对应的特征矩阵，其中，该特征矩阵的行或列与该视频帧集合中的视频帧对应的帧特征向量对应；根据所生成的特征矩阵与预设视频库中的视频对应的特征矩阵之间的相似度，从该预设视频库中选取匹配的视频。该实施方式能够更完整地保留帧特征；而且，还降低了劣质帧对整体视频匹配的影响，从而提高了视频匹配的准确度。CN111831855ACN111831855A权利要求书1/2页1.一种用于匹配视频的方法，包括：获取待匹配视频；从所述待匹配视频中提取目标数目的视频帧，生成视频帧集合；提取所述视频帧集合中的各视频帧对应的帧特征向量，生成与所述待匹配视频对应的特征矩阵，其中，所述特征矩阵的行或列与所述视频帧集合中的视频帧对应的帧特征向量对应；根据所生成的特征矩阵与预设视频库中的视频对应的特征矩阵之间的相似度，从所述预设视频库中选取匹配的视频。2.根据权利要求1所述的方法，其中，所述提取所述视频帧集合中的各视频帧对应的帧特征向量，生成与所述待匹配视频对应的特征矩阵，包括：将所述视频帧集合中的各视频帧输入至预先训练的视频特征提取模型，生成与所述视频帧集合中的各视频帧对应的帧特征向量；将所生成的各帧特征向量按照对应的视频帧在所述待匹配视频中的时间顺序排列，生成与所述待匹配视频对应的特征矩阵。3.根据权利要求1所述的方法，其中，所述相似度包括倒角相似度或对称的倒角相似度，所述视频特征提取模型基于所述特征矩阵所形成的特征向量之间的相似度关联的损失函数训练得到。4.一种用于训练视频特征提取模型的方法，包括：获取初始视频特征提取模型；从预设的第一视频数据集中选取具有相似标注的样本对，其中，所述样本对包括参考样本和正样本；从与所述第一视频数据集对应的第二视频数据集中选取至少两个样本作为所述参考样本的负样本；提取所述样本对和所述至少两个负样本各自对应的视频特征；基于预设的对比损失函数，调整所述初始视频特征提取模型的参数，其中，所述对比损失函数计算的损失值基于所述参考样本和正样本经过所述初始视频特征提取模型所得到的视频特征之间的相似度以及所述参考样本与所述至少两个负样本经过所述初始视频特征提取模型所得到的视频特征之间的相似度而确定。5.根据权利要求4所述的方法，其中，所述从预设的第一视频数据集中选取具有相似标注的样本对，包括：获取针对所述初始视频特征提取模型进行并行训练的样本批次的数目；对于所述并行训练的各样本批次，从预设的第一视频数据集中选取具有相似标注的样本对。6.根据权利要求5所述的方法，所述对比损失函数计算的损失值通过以下步骤确定：将所选取的、与所述并行训练的各样本批次的参考样本对应的至少两个负样本组成负样本集合；确定所述参考样本和正样本经过所述初始视频特征提取模型所得到的视频特征之间的相似度以及所述参考样本与所述负样本集合中各负样本经过所述初始视频特征提取模型所得到的视频特征之间的相似度；2CN111831855A权利要求书2/2页基于所确定的相似度，利用预设的对比损失函数确定损失值。7.根据权利要求4所述的方法，其中，所述初始视频特征提取模型中包括L2归一化层，所述对比损失函数包括基于softmax的损失函数。8.根据权利要求7所述的方法，其中，所述对比损失函数包括以下至少一项：InfoNCE损失，Circle损失。9.根据权利要求4-8之一所述的方法，其中，所述视频特征包括视频对应的视频帧向量所形成的视频特征矩阵。10.根据权利要求9所述的方法，其中，所述视频特征之间的相似度包括基于所述视频特征矩阵所形成的特征向量之间的相似度。11.一种用于匹配视频的装置，包括：视频获取单元，被配置成获取待匹配视频；帧提取单元，被配置成从所述待匹配视频中提取目标数目的视频帧，生成