预览加载中,请您耐心等待几秒...
1/10
2/10
3/10
4/10
5/10
6/10
7/10
8/10
9/10
10/10

亲,该文档总共32页,到这已经超出免费预览范围,如果喜欢就直接下载吧~

如果您无法下载资料,请参考说明:

1、部分资料下载需要金币,请确保您的账户上有足够的金币

2、已购买过的文档,再次下载不重复扣费

3、资料包下载后请先用软件解压,在使用对应软件打开

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113821676A(43)申请公布日2021.12.21(21)申请号202110853123.X(22)申请日2021.07.27(71)申请人腾讯科技(深圳)有限公司地址518057广东省深圳市南山区高新区科技中一路腾讯大厦35层(72)发明人孔伟杰田上萱赵文哲蔡成飞刘威王红法(74)专利代理机构北京三高永信知识产权代理有限责任公司11138代理人张所明(51)Int.Cl.G06F16/732(2019.01)G06F16/783(2019.01)G06K9/62(2006.01)权利要求书3页说明书16页附图12页(54)发明名称视频检索方法、装置、设备及存储介质(57)摘要本申请公开了一种视频检索方法、装置、设备及存储介质,属于人工智能技术领域。本申请通过综合考虑视频级别的时空信息和视频帧级别的时空信息,得到目标相似参数,使得该目标相似参数能够更加准确地表示第一视频与第二视频之间的相似程度,因此,基于该目标相似参数,能够提升对第一视频与第二视频之间重复片段检索的准确率。CN113821676ACN113821676A权利要求书1/3页1.一种视频检索方法,其特征在于,所述方法包括:获取第一视频的第一全局时空特征、所述第一视频中多个第一视频帧的第一时空特征、第二视频的第二全局时空特征和所述第二视频中多个第二视频帧的第二时空特征;基于所述第一全局时空特征和所述第二全局时空特征,获取第一相似参数,所述第一相似参数用于表示所述第一视频与所述第二视频之间视频级别的相似程度;基于多个所述第一时空特征和多个所述第二时空特征,获取第二相似参数,所述第二相似参数用于表示所述第一视频与所述第二视频之间视频帧级别的相似程度;将所述第一相似参数与所述第二相似参数进行融合,得到目标相似参数,响应于所述目标相似参数大于或等于第一阈值,确定所述第一视频与所述第二视频之间存在重复片段,所述目标相似参数用于表示所述第一视频与所述第二视频之间的整体相似程度。2.根据权利要求1所述的方法,其特征在于,对于所述第一视频和所述第二视频中的任一视频,获取所述视频的全局时空特征与所述视频中多个视频帧的时空特征包括:将所述视频的每个视频帧分割成多个子视频帧,基于所述每个视频帧中多个子视频帧之间的空间信息,获取所述多个视频帧的空间特征;基于所述多个视频帧的空间特征和所述多个视频帧之间的时序信息,获取所述视频的全局时空特征和所述多个视频帧的时空特征。3.根据权利要求1所述的方法,其特征在于,所述基于多个所述第一时空特征和多个所述第二时空特征,获取第二相似参数包括:基于多个所述第一时空特征和多个所述第二时空特征,获取相似度矩阵,所述相似度矩阵中的每个元素用于表示每个所述第一视频帧与每个所述第二视频帧之间的相似程度;基于所述相似度矩阵中每一行的最大值和所述第一视频帧的数量,获取所述第二相似参数。4.根据权利要求1所述的方法,其特征在于,所述将所述第一相似参数与所述第二相似参数进行融合,得到目标相似参数包括:基于第一权重和第二权重,将所述第一相似参数和所述第二相似参数进行加权求和,得到所述目标相似参数。5.根据权利要求4所述的方法,其特征在于,所述第一权重和所述第二权重基于多个样本视频和对应样本标签训练得到;其中,所述多个样本视频包括多个原始视频和对所述多个原始视频进行变换得到的视频,任一原始视频和基于所述原始视频进行变换得到的视频为同一类别,所述样本标签用于表示对应样本视频的类别。6.根据权利要求1至5任一项所述的方法,其特征在于,所述响应于所述目标相似参数大于第一阈值,确定所述第一视频与所述第二视频之间存在重复视频片段之后,所述方法还包括:获取相似度向量,所述相似度向量中的每个元素为所述相似度矩阵中每一行的最大值,所述相似度向量中的每个元素用于表示所述第二视频与所述第一视频中每个第一视频帧的相似程度;将所述相似度向量中大于或等于第二阈值的元素对应的所述第一视频帧,确定为重复视频帧。2CN113821676A权利要求书2/3页7.根据权利要求1至6任一项所述的方法,其特征在于,所述获取第一视频的第一全局时空特征、所述第一视频中多个第一视频帧的第一时空特征、第二视频的第二全局时空特征和所述第二视频中多个第二视频帧的第二时空特征包括:基于视频特征提取模型、所述第一视频和所述第二视频,获取所述第一全局时空特征、多个所述第一时空特征、所述第二全局时空特征和多个所述第二时空特征;其中,所述视频特征提取模型包括空间子模型和时序子模型,所述空间子模型和所述时序子模型由多个转换器Transformer组成。8.根据权利要求7所述的方法,其特征在于,所述视频特征提取模型基于所述多个样本视频和对应样本标签训练得到