视频查询方法、装置、电子设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113987271A(43)申请公布日2022.01.28(21)申请号202111255750.X(22)申请日2021.10.27(71)申请人北京百度网讯科技有限公司地址100085北京市海淀区上地十街10号百度大厦2层(72)发明人张一鸣李弘宇刘璟吴华王海峰(74)专利代理机构北京市铸成律师事务所11313代理人皇甫韵啸包莉莉(51)Int.Cl.G06F16/783(2019.01)权利要求书4页说明书13页附图5页(54)发明名称视频查询方法、装置、电子设备及存储介质(57)摘要本公开提供了一种视频查询方法、装置、电子设备及存储介质，涉及计算机视觉、机器学习、图像处理、语音识别技术领域。方法包括：获取用户的查询信息；查询预先存储的多个视频各自对应的文本信息，得到与查询信息匹配的候选文本信息；文本信息包括从对应视频的视觉或语音中的至少一个通道提取的表征视频内容的信息；基于候选文本信息，确定与查询信息匹配的目标视频。本公开技术方案中，通过查询视频对应文本信息，确定与用户查询信息匹配的视频，而文本信息包括从视频的视觉或语音中的至少一个通道提取的表征视频内容的信息，从而可以提高视频查询的准确性，使查询到的视频的内容与用户查询信息的匹配度更高。CN113987271ACN113987271A权利要求书1/4页1.一种视频查询方法，所述方法包括：获取用户的查询信息；查询预先存储的多个视频各自对应的文本信息，得到与所述查询信息匹配的候选文本信息；所述文本信息包括从对应视频的视觉或语音中的至少一个通道提取的表征视频内容的信息；基于所述候选文本信息，确定与所述查询信息匹配的目标视频。2.根据权利要求1所述的方法，其中，所述查询预先存储的多个视频各自对应的文本信息，得到与所述查询信息匹配的候选文本信息，包括：在所述文本信息包括文本片段和辅助信息的情况下，查询预先存储的多个视频各自对应的文本片段和辅助信息，得到与所述查询信息匹配的文本片段和辅助信息；将所述匹配的文本片段和辅助信息作为所述候选文本信息。3.根据权利要求2所述的方法，其中，所述基于所述候选文本信息，确定与所述查询信息匹配的目标视频，包括：基于所述候选文本信息中的文本片段，确定与所述查询信息匹配的目标文本信息；基于所述目标文本信息，确定与所述查询信息匹配的目标视频。4.根据权利要求3所述的方法，其中，在所述基于所述目标文本信息，确定与所述查询信息匹配的目标视频之后，还包括：基于所述目标文本信息，确定所述目标视频中与所述查询信息匹配的视频片段的开始时刻和结束时刻。5.根据权利要求3所述的方法，其中，所述基于所述候选文本信息中的文本片段，确定与所述查询信息匹配的目标文本信息，包括：获取所述候选文本信息中的文本片段的上下文信息，以及所述候选文本信息对应的视频的属性信息；将所述候选文本信息中的文本片段与对应的所述上下文信息或属性信息中的至少一项进行拼接，得到拼接文本信息；从各所述拼接文本信息中确定与所述查询信息匹配的目标文本信息。6.根据权利要求5所述的方法，其中，所述从各所述拼接文本信息中确定与所述查询信息匹配的目标文本信息，包括：通过视频内容精排模型，从各所述拼接文本信息中确定与所述查询信息匹配的目标文本信息；其中，所述视频内容精排模型是通过第一训练样本集训练得到的；所述第一训练样本集包括多个第一训练样本以及各第一训练样本各自对应的第一样本标签，每个第一训练样本包括第一查询文本和第一拼接文本组成的样本对，所述第一拼接文本包括与所述第一查询文本匹配的第一候选文本、所述第一候选文本的上下文信息、所述第一候选文本对应的查询视频的属性信息；所述第一样本标签表征所述第一查询文本和所述第一拼接文本的匹配程度。7.根据权利要求2所述的方法，其中，所述查询预先存储的多个视频各自对应的文本信息，得到与所述查询信息匹配的候选文本信息，包括：基于视频内容语义检索模型，查询预先存储的多个视频各自对应的文本信息，得到与2CN113987271A权利要求书2/4页所述查询信息匹配的候选文本信息；其中，所述视频内容语义检索模型是基于第二训练样本集训练得到的；所述第二训练样本集包括多个第二训练样本以及各第二训练样本各自对应的第二样本标签，每个第二训练样本包括第二查询文本和第二候选文本组成的样本对，所述第二候选文本包括与所述第二查询文本匹配的第二文本片段和所述第二文本片段的辅助信息；所述第二样本标签表征所述第二查询文本和所述第二候选文本的匹配程度。8.根据权利要求7所述的方法，其中，所述第二训练样本集是通过以下方式得到的：通过初始文本匹配模型获取正样本集和第一负样本集；通过批次内负采样的方式获取第二负样本集；将所述正样本集、所述第一负样