图文匹配结果确定方法、装置、电子设备及可读存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113688269A(43)申请公布日2021.11.23(21)申请号202110826689.3(22)申请日2021.07.21(71)申请人北京三快在线科技有限公司地址100083北京市海淀区北四环西路9号2106-030(72)发明人叶蕊张庆宾义黄君实王福龙罗恒亮(74)专利代理机构北京润泽恒知识产权代理有限公司11319代理人任亚娟(51)Int.Cl.G06F16/583(2019.01)G06F16/36(2019.01)G06N3/02(2006.01)G06N3/08(2006.01)权利要求书2页说明书13页附图3页(54)发明名称图文匹配结果确定方法、装置、电子设备及可读存储介质(57)摘要本公开提供了一种图文匹配结果确定方法、装置、电子设备及可读存储介质。包括：获取目标业务方，及与所述目标业务方关联的目标图像；根据所述目标业务方的业务方名称和所述目标图像的语义关联关系，确定所述目标业务方和所述目标图像的第一图文匹配结果；基于预先训练的图文相关性模型，获取所述业务方名称和所述目标图像的相关性分值，并根据所述相关性分值，确定所述目标业务方和所述目标图像的第二图文匹配结果；在所述第一图文匹配结果和所述第二图文匹配结果中存在至少一个匹配不一致结果的情况下，基于预先构建的知识图谱，确定所述目标业务方和所述目标图像的目标图文匹配结果。本公开能够提升图文匹配的泛化性及图文匹配判断的有效性。CN113688269ACN113688269A权利要求书1/2页1.一种图文匹配结果确定方法，其特征在于，包括：获取目标业务方，及与所述目标业务方关联的目标图像；根据所述目标业务方的业务方名称和所述目标图像的语义关联关系，确定所述目标业务方和所述目标图像的第一图文匹配结果；基于预先训练的图文相关性模型，获取所述业务方名称和所述目标图像的相关性分值，并根据所述相关性分值，确定所述目标业务方和所述目标图像的第二图文匹配结果；在所述第一图文匹配结果和所述第二图文匹配结果中存在至少一个匹配不一致结果的情况下，基于预先构建的知识图谱，确定所述目标业务方和所述目标图像的目标图文匹配结果。2.根据权利要求1所述的方法，其特征在于，所述根据所述目标业务方的业务方名称和所述目标图像的语义关联关系，确定所述目标业务方和所述目标图像的第一图文匹配结果，包括：对所述业务方名称进行实体识别处理，得到所述业务方名称对应的第一实体识别结果；对所述目标图像中包含的目标业务对象进行实体识别处理，得到所述目标图像对应的第二实体识别结果；根据实体关联列表，获取所述第一实体识别结果和所述第二实体识别结果的语义关联关系；根据所述语义关联关系，确定所述第一图文匹配结果。3.根据权利要求1所述的方法，其特征在于，所述基于预先训练的图文相关性模型，获取所述业务方名称和所述目标图像的相关性分值，包括：将所述业务方名称和所述目标图像输入至所述图文相关性模型；调用所述图文相关性模型获取所述业务方名称对应的第一向量，及所述目标图像对应的第二向量，并根据所述第一向量和所述第二向量，计算得到所述业务方名称和所述目标图像的相关性分值。4.根据权利要求1所述的方法，其特征在于，在所述根据所述相关性分值，确定所述目标业务方和所述目标图像的第二图文匹配结果之后，还包括：在所述第一图文匹配结果和所述第二图文匹配结果均为图文匹配一致的结果的情况下，确定所述目标业务方和所述目标图像的图文匹配结果为匹配一致的结果。5.根据权利要求1所述的方法，其特征在于，在所述基于预先构建的知识图谱，确定所述目标业务方和所述目标图像的目标图文匹配结果之前，还包括：根据业务方和业务对象的历史共现数据，构建初始知识图谱；根据所述业务方和所述业务对象的共现次数，确定所述业务方与所述业务对象的共现概率；将所述共现概率赋予所述初始知识图谱，生成所述知识图谱。6.根据权利要求5所述的方法，其特征在于，所述基于预先构建的知识图谱，确定所述目标业务方和所述目标图像的目标图文匹配结果，包括：根据所述知识图谱，获取所述业务方名称和所述目标图像中的目标业务对象的目标共现概率；2CN113688269A权利要求书2/2页根据所述目标共现概率，确定所述目标图文匹配结果。7.根据权利要求6所述的方法，其特征在于，所述根据目标共现概率，确定所述目标图文匹配结果，包括：根据所述知识图谱，获取所述目标业务方和与所述目标业务方具有连接关系的其它业务对象之间的初始共现概率；根据所述初始共现概率和所述目标共现概率，对所述目标业务对象和所述其它业务对象进行排序；根据排序结果，确定所述目标业务方和所述目标图像的目标图文匹配结果。8.一种图文匹配结果确定装置，其特征在于，包括：目标图像获