表征模型的训练方法、装置、可读存储介质及计算设备.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114970716A(43)申请公布日2022.08.30(21)申请号202210582911.4(22)申请日2022.05.26(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人曲波(74)专利代理机构北京亿腾知识产权代理事务所(普通合伙)11309专利代理师陈霁周良玉(51)Int.Cl.G06K9/62(2022.01)G06N20/00(2019.01)G06Q10/04(2012.01)G06Q40/08(2012.01)权利要求书2页说明书11页附图3页(54)发明名称表征模型的训练方法、装置、可读存储介质及计算设备(57)摘要本说明书实施例提供了表征模型的训练方法、装置、可读存储介质及计算设备。该方法包括：获取多个业务样本，任意业务样本包括业务事件的事件特征，并具有若干个业务分类任务各自对应的标签值；利用表征模型得到分别与多个业务样本一一对应的多个表征向量；对于多个业务样本中的目标业务样本，确定与该样本具有相同标签值的若干个第一样本、不同标签值的若干个第二样本；基于多个表征向量，计算各第一样本、各第二样本分别与该样本的相似度，得到对比学习结果；基于目标业务样本的对比学习结果，训练表征模型，使得表征模型学习相似的业务事件之间的关系、不同业务事件之间的区别，提高表征向量的召回能力。CN114970716ACN114970716A权利要求书1/2页1.一种表征模型的训练方法，包括：获取多个业务样本，任意业务样本包括业务事件的事件特征，并具有若干个业务分类任务各自对应的标签值；利用表征模型，对所述多个业务样本分别进行事件特征编码处理，得到分别与所述多个业务样本一一对应的多个表征向量；对于所述多个业务样本中的目标业务样本，从所述多个业务样本中，确定与所述目标业务样本在所述若干个业务分类任务中的目标任务下，具有相同标签值的若干个第一样本、以及不同标签值的若干个第二样本；基于所述多个表征向量，计算各第一样本、各第二样本分别与所述目标业务样本的相似度，得到所述目标业务样本的对比学习结果；至少基于所述目标业务样本的对比学习结果，训练所述表征模型。2.根据权利要求1所述的方法，其中，所述方法还包括：对于若干个业务分类任务中的任意任务，将所述多个表征向量分别输入到该任务对应的任务模型进行任务预测，得到预测结果，其中包括所述多个业务样本各自针对该任务的预测值；所述至少基于所述目标业务样本的对比学习结果，训练所述表征模型，包括：至少基于若干个业务分类任务各自对应的预测结果、所述多个业务样本各自具有的各标签值、所述目标业务样本的对比学习结果，训练所述表征模型。3.根据权利要求2所述的方法，其中，所述方法还包括：对于若干个业务分类任务中的任意任务，基于对应的预测结果中所述多个业务样本各自的预测值和所述多个业务样本各自具有的该任务的标签值，训练该任务对应的任务模型。4.根据权利要求2所述的方法，其中，所述任务模型包括编码层和预测层，所述任务预测包括：对于所述多个表征向量中的任一向量，通过所述编码层对所述表征向量进行处理实现信息融合，输出融合向量；通过所述预测层基于所述融合向量进行针对该任务的预测，得到所述任一向量对应的业务样本的预测值。5.根据权利要求4所述的方法，其中，所述若干个业务分类任务对应于多个任务模型，所述多个任务模型共用所述编码层，所述方法还包括：至少基于若干个业务分类任务各自对应的预测结果、所述多个业务样本各自具有的各标签值，训练所述编码层；基于若干个业务分类任务各自对应的预测结果、所述多个业务样本各自具有的各标签值训练所述预测层。6.根据权利要求1所述的方法，其中，所述表征模型包括嵌入层、特征交互层、线性层和表征层；所述事件特征编码处理包括：利用所述嵌入层对任意业务样本中多个事件特征各自的特征值进行向量化表示，得到分别与所述多个事件特征一一对应的多个特征值向量；利用所述特征交互层基于所述多个特征值向量，对所述多个事件特征进行特征交互处理，确定交互处理结果；2CN114970716A权利要求书2/2页利用所述线性层对所述多个特征值向量进行线性处理，确定线性处理结果；利用所述表征层基于所述交互处理结果和所述线性处理结果，确定所述业务样本对应的表征向量。7.根据权利要求6所述的方法，其中，所述多个事件特征包括离散型特征和连续型特征，所述交互处理结果包括连续型特征交互向量和离散型特征交互向量；所述表征向量为所述连续型特征交互向量、离散型特征交互向量和所述线性处理结果拼接后的向量；所述特征交互层包括第一交互层和第二交互层；所述特征交互处理包括:通过所述第一交互层基于所述连续型特征对应的特征值向量进