信息搜索方法、装置、电子设备和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113868519A(43)申请公布日2021.12.31(21)申请号202111101827.8(22)申请日2021.09.18(71)申请人北京百度网讯科技有限公司地址100085北京市海淀区上地十街10号百度大厦2层(72)发明人姜文斌吕雅娟朱勇吴华王海峰(74)专利代理机构北京清亦华知识产权代理事务所(普通合伙)11201代理人罗岚(51)Int.Cl.G06F16/9535(2019.01)G06F16/9536(2019.01)G06Q50/00(2012.01)权利要求书3页说明书12页附图6页(54)发明名称信息搜索方法、装置、电子设备和存储介质(57)摘要本公开提供了信息搜索方法、装置、电子设备和存储介质，涉及人工智能技术领域中的深度学习、自然语言处理和知识图谱领域。具体实现方案为：获取至少包括待搜索问题的搜索词，并获取搜索词的初始文本向量表示，获取搜索词对应的视频，并获取视频的多模态向量表示，从初始文本向量表示开始，根据多模态向量表示和当前轮次的搜索词的文本向量表示，对视频和搜索词进行N轮交互，以生成目标融合向量表示，基于目标融合向量表示，对视频进行标注，以获取与待搜索问题匹配的目标视频帧。通过视频和搜索词的N轮交互实现对待搜索问题和待搜索问题对应的视频的多层迭代理解，增强信息搜索的效果。CN113868519ACN113868519A权利要求书1/3页1.一种信息搜索方法，包括：获取至少包括待搜索问题的搜索词，并获取所述搜索词的初始文本向量表示；获取所述搜索词对应的视频，并获取所述视频的多模态向量表示；从所述初始文本向量表示开始，根据所述多模态向量表示和当前轮次的所述搜索词的文本向量表示，对所述视频和所述搜索词进行N轮交互，以生成目标融合向量表示，其中，N为大于或者等于1的整数；基于所述目标融合向量表示，对所述视频进行标注，以获取与所述待搜索问题匹配的目标视频帧。2.根据权利要求1所述的信息搜索方法，其中，所述获取所述视频的多模态向量表示，包括：获取至少两个特征提取维度；根据所有的所述特征提取维度对所述视频的每一帧图像进行特征提取，以获取所述多模态向量表示。3.根据权利要求1所述的信息搜索方法，其中，所述根据所述多模态向量表示和当前轮次的所述搜索词的文本向量表示，对所述视频和所述搜索词进行N轮交互，以生成目标融合向量表示，包括：针对第i轮交互，根据第i‑1轮交互后得到的文本向量表示，分别对所述多模态向量表示中的每个模态对应的模态向量表示进行融合，以获取每个模态对应的单模态融合向量表示，其中，i为大于1的整数；根据所述第i‑1轮交互后得到的文本向量表示，对所有的模态对应的所述单模态融合向量表示进行融合，以得到第i轮对应的融合向量表示。4.根据权利要求3所述的信息搜索方法，其中，所述方法还包括：根据所述第i轮对应的融合向量表示，对所述第i‑1轮交互后得到的文本向量表示进行融合，以得到第i轮对应的文本向量表示。5.根据权利要求3所述的信息搜索方法，其中，所述根据第i‑1轮交互后得到的文本向量表示，分别对所述多模态向量表示中的每个模态对应的模态向量表示进行融合，以获取每个模态对应的单模态融合向量表示，包括：根据所述多模态向量表示和所述第i‑1轮交互后得到的文本向量表示，分别获取每个模态对应的所述第一权重矩阵；根据所述第一权重矩阵，分别对每个模态对应的所述模态向量表示进行加权，以将每个加权结果作为对应的模态的所述单模态融合向量表示。6.根据权利要求5所述的信息搜索方法，其中，所述根据所述第i‑1轮交互后得到的文本向量表示，对所有的模态对应的所述单模态融合向量表示进行融合，以得到第i轮对应的融合向量表示，包括：获取目标参数矩阵，并根据所述目标参数矩阵、每个模态对应的所述单模态融合向量表示和所述第i‑1轮交互后得到的文本向量表示，获取所述第二权重矩阵；根据所述第二权重矩阵，对所有的模态对应的所述单模态融合向量表示进行加权，以将加权结果作为所述第i轮对应的融合向量表示。7.根据权利要求6所述的信息搜索方法，其中，所述根据所述第i轮对应的融合向量表2CN113868519A权利要求书2/3页示，对所述第i‑1轮交互后得到的文本向量表示进行融合，以得到当前轮次对应的文本向量表示，包括：根据所述第i轮对应的融合向量表示、所述目标参数矩阵和所述第i‑1轮交互后得到的文本向量表示，获取所述第三权重矩阵；根据所述第三权重矩阵，对所述第i‑1轮交互后得到的文本向量表示和所述第i轮对应的融合向量表示进行加权，以将加权结果作为所述第i轮对应的文本向量表示。8.根据权利要求2中任一项所述的信息搜索方法，其中，所述特征提取维度至少为以下一种：视频维度、文本维度和