图文检索方法、装置、电子设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113961733A(43)申请公布日2022.01.21(21)申请号202111249373.9(22)申请日2021.10.26(71)申请人北京达佳互联信息技术有限公司地址100085北京市海淀区上地西路6号1幢1层101D1-7(72)发明人王浩帆(74)专利代理机构北京中博世达专利商标代理有限公司11274代理人申健(51)Int.Cl.G06F16/53(2019.01)G06F16/583(2019.01)G06V10/77(2022.01)G06K9/62(2022.01)G06N3/08(2006.01)权利要求书2页说明书13页附图4页(54)发明名称图文检索方法、装置、电子设备及存储介质(57)摘要本公开关于一种图文检索方法、装置、电子设备及存储介质，涉及信息处理技术领域，以至少解决相关技术中跨模态检索的图文匹配准确度较低的问题。该方法包括：获取待检索文本；基于预先建立的实体指代词库，识别待检索文本中的目标实体；实体指代词库包括与预设类型的实体对应的指代词，目标实体为基于目标指代词确定出的实体，目标指代词为待检索文本中与指代词匹配的词语；确定待检索文本与图片库内每一图片之间的相似度，并将相似度大于第一阈值的图片作为候选图片库内的候选图片；从候选图片库中确定与目标实体对应的目标图片。CN113961733ACN113961733A权利要求书1/2页1.一种图文检索方法，其特征在于，所述方法包括：获取待检索文本；基于预先建立的实体指代词库，识别所述待检索文本中的目标实体；所述实体指代词库包括与预设类型的实体对应的指代词，所述目标实体为基于目标指代词确定出的实体，所述目标指代词为所述待检索文本中与所述指代词匹配的词语；确定所述待检索文本与图片库内每一图片之间的相似度，并将所述相似度大于第一阈值的图片作为候选图片库内的候选图片；从所述候选图片库中确定与所述目标实体对应的目标图片。2.根据权利要求1所述的图文检索方法，其特征在于，所述基于预先建立的实体指代词库，识别所述待检索文本中的目标实体，包括：读取所述实体指代词库，对所述待检索文本匹配确定所述目标指代词；当所述目标指代词不存在时，确定所述目标实体为默认实体；当所述目标指代词存在，且所述目标指代词对应至少两种预设类型的实体时，确定所述目标实体为目标预设类型实体；所述目标预设类型实体为所述待检测文本中排序在前的所述目标指代词对应的实体类型，或所述待检测文本中出现次数最多的所述目标指代词对应的实体类型；当所述目标指代词存在，且所述目标指代词对应一种预设类型的实体时，确定所述目标实体为所述目标指代词对应的实体类型。3.根据权利要求2所述的图文检索方法，其特征在于，所述确定所述待检索文本与图片库内每一图片之间的相似度，包括：根据已训练好的图文检测模型确定所述待检索文本的文本特征向量，以及所述图片库内每一图片的图像特征向量；根据所述文本特征向量和所述每一图片的图像特征向量确定所述待检索文本与所述每一图片之间的相似度。4.根据权利要求3所述的图文检索方法，其特征在于，所述根据所述文本特征向量和所述每一图片的图像特征向量确定所述待检索文本与所述每一图片之间的相似度，包括：根据所述文本特征向量和所述每一图片的图像特征向量确定所述待检索文本与所述每一图片之间的余弦距离；将所述余弦距离确定为所述待检索文本与所述每一图片之间的相似度。5.根据权利要求4所述的图文检索方法，其特征在于，所述待检索文本还包括目标对象；所述从所述候选图片库中确定与所述目标实体对应的目标图片，包括：根据已训练好的对象识别模型从所述候选图片库确定包括所述目标对象的目标候选图片；当所述目标候选图片不存在时，确定所述候选图片库中与所述待检索文本相似度最高的候选图片为所述目标图片；当所述目标候选图片存在时，根据已训练好的实体识别模型从所述目标候选图片中确定与所述目标实体对应的所述目标图片。6.根据权利要求1所述的图文检索方法，其特征在于，所述待检索文本还包括目标对象，所述目标对象为人物，所述预设类型用于指示所述人物的性别或年龄。2CN113961733A权利要求书2/2页7.一种图文检索装置，其特征在于，所述装置包括：获取模块，用于获取待检索文本；实体识别模块，用于基于预先建立的实体指代词库，识别所述获取模块获取的所述待检索文本中的目标实体；所述实体指代词库包括与预设类型的实体对应的指代词，所述目标实体为基于目标指代词确定出的实体，所述目标指代词为所述待检索文本中与所述指代词匹配的词语；相似度确定模块，用于确定所述获取模块获取的所述待检索文本与图片库内每一图片之间的相似度；图片候选模块，用于将所述相似度确定模块确定的所述相似度大于第一阈值