基于视觉相似性的文本匹配方法及装置、介质、设备.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115879010A(43)申请公布日2023.03.31(21)申请号202211680467.6G06N20/00(2019.01)(22)申请日2022.12.27(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人陈珺孙清清张天翼邹泊滔何茂林(74)专利代理机构济南信达专利事务所有限公司37100专利代理师李世喆(51)Int.Cl.G06F18/22(2023.01)G06F18/214(2023.01)G06F40/20(2020.01)G06N3/08(2023.01)权利要求书2页说明书8页附图2页(54)发明名称基于视觉相似性的文本匹配方法及装置、介质、设备(57)摘要本说明书实施例提供了一种基于视觉相似性的文本匹配方法及装置、介质、设备。方法包括：接收待匹配文本；将所述待匹配文本输入至预先训练的视觉表征模型中，得到所述待匹配文本的视觉表征向量；计算所述待匹配文本的视觉表征向量与待比对列表中每一个文本的视觉表征向量之间的相似度；根据所述待匹配文本的视觉表征向量分别与待比对列表中各个文本的视觉表征向量之间的相似度，确定所述待匹配文本的视觉相似文本。本发明能够识别出文本的视觉相似性变种。CN115879010ACN115879010A权利要求书1/2页1.一种基于视觉相似性的文本匹配方法，包括：接收待匹配文本；将所述待匹配文本输入至预先训练的视觉表征模型中，得到所述待匹配文本的视觉表征向量；计算所述待匹配文本的视觉表征向量与待比对列表中每一个文本的视觉表征向量之间的相似度；根据所述待匹配文本的视觉表征向量分别与待比对列表中各个文本的视觉表征向量之间的相似度，确定所述待匹配文本的视觉相似文本。2.根据权利要求1所述的方法，其中，所述视觉表征模型中包括处理支路，所述处理支路包括依次连接的嵌入层、编码器和全连接头，其中：所述嵌入层用于将一个文本中的每一个字符转换为对应的嵌入式表征向量；所述编码器用于将该文本的各个字符对应的嵌入式表征向量转换成该文本对应的编码向量；所述全连接头用于将该文本对应的编码向量进行降维，得到该文本对应的视觉表征向量。3.根据权利要求2所述的方法，其中，所述视觉表征模型中包括三个相同的所述处理支路；在应用所述视觉表征模型时，将所述待匹配文本输入至所述三个处理支路中的任意一个处理支路中，得到所述待匹配文本的视觉表征向量；在训练过程中，将训练文本、所述训练文本的正样本和所述训练文本的负样本输入至三个处理支路中，得到三个视觉表征向量；三个处理支路通过训练使得所述训练文本的视觉表征向量和所述正样本的视觉表征向量之间的相似性最大化且所述训练文本的视觉表征向量和所述负样本的视觉表征向量之间的相异性最大化；其中，所述训练文本的正样本为所述训练样本的视觉相似文本，所述训练文本的负样本为所述训练文本的非视觉相似文本。4.根据权利要求3所述的方法，其中，所述视觉表征模型中还包括三元损失函数，所述三元损失函数用于综合评价所述训练文本的视觉表征向量和所述正样本的视觉表征向量之间的相似性和所述训练文本的视觉表征向量和所述负样本的视觉表征向量之间的相异性。5.根据权利要求4所述的方法，其中，所述三元损失函数为：式中，为损失值，X为所述训练文本，X+为所述训练文本的正样本，x‑为所述训练文本的负样本，为训练文本集，∈为平衡相似性和相异性的超参数，f(x)为所述训练文本的视觉表征向量，f(x+)为所述训练文本的正样本的视觉表征向量，f(x‑)为所述训练文本的负样本的视觉表征向量。6.根据权利要求3所述的方法，其中，所述训练文本的正样本为将所述训练文本输入至文本视觉变种生成器后得到。2CN115879010A权利要求书2/2页7.一种基于视觉相似性的文本匹配装置，包括：文本接收模块，用于接收待匹配文本；文本表征模块，用于将所述待匹配文本输入至预先训练的视觉表征模型中，得到所述待匹配文本的视觉表征向量；相似计算模块，用于计算所述待匹配文本的视觉表征向量与待比对列表中每一个文本的视觉表征向量之间的相似度；匹配确定模块，用于根据所述待匹配文本的视觉表征向量分别与待比对列表中各个文本的视觉表征向量之间的相似度，确定所述待匹配文本的视觉相似文本。8.根据权利要求7所述的装置，其中，所述视觉表征模型中包括处理支路，所述处理支路包括依次连接的嵌入层、编码器和全连接头，其中：所述嵌入层用于将一个文本中的每一个字符转换为对应的嵌入式表征向量；所述编码器用于将该文本的各个字符对应的嵌入式表征向量转换成该文本对应的编码向量；所述全连接头用于将该文本对应的编码向量进行降维，得到该文本对应的视觉表征向量。9.一种计算机可