纵向联邦预测优化方法、设备、介质及计算机程序产品.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113673700A(43)申请公布日2021.11.19(21)申请号202110984312.0(22)申请日2021.08.25(71)申请人深圳前海微众银行股份有限公司地址518000广东省深圳市前海深港合作区前湾一路1号A栋201室（入驻深圳市前海商务秘书有限公司）(72)发明人万晟高大山鞠策谭奔杨强(74)专利代理机构深圳市世纪恒程知识产权代理事务所44287代理人郝怀庆(51)Int.Cl.G06N3/08(2006.01)G06N3/04(2006.01)G06N20/00(2019.01)权利要求书7页说明书33页附图5页(54)发明名称纵向联邦预测优化方法、设备、介质及计算机程序产品(57)摘要本申请公开了一种纵向联邦预测优化方法、设备、介质及计算机程序产品，包括：提取第一方待预测样本，并获取目标预测模型针对第一方待预测样本进行模型预测生成的第一方模型预测结果；与第二设备进行联邦交互，以供第二设备确定第二方待预测样本，并利用目标残差提升模型对第二方待预测样本执行模型预测，获得第二方模型预测结果；获取目标预测模型对应的第一方模型权重，并接收第二设备发送的第二方模型预测结果和目标残差提升模型对应的第二方模型权重；基于第一方模型权重和第二方模型权重，对第一方模型预测结果和第二方模型预测结果进行加权聚合，获得目标联邦预测结果。本申请解决了纵向联邦预测的整体样本预测准确度低的技术问题。CN113673700ACN113673700A权利要求书1/7页1.一种纵向联邦预测优化方法，其特征在于，应用于第一设备，所述纵向联邦预测优化方法包括：提取第一方待预测样本，并获取所述目标预测模型针对所述第一方待预测样本进行模型预测生成的第一方模型预测结果，其中，所述目标预测模型由所述第一设备在本地迭代训练的本地预测模型与所述本地预测模型联合第二设备中的本地残差提升模型共同组成的联邦学习教师模型之间进行模型蒸馏得到；与所述第二设备进行联邦交互，以供所述第二设备确定所述第一方待预测样本对应的第二方待预测样本，并利用目标残差提升模型对所述第二方待预测样本执行模型预测，获得第二方模型预测结果；获取所述目标预测模型对应的第一方模型权重，并接收所述第二设备发送的第二方模型预测结果和所述目标残差提升模型对应的第二方模型权重；基于所述第一方模型权重和所述第二方模型权重，对所述第一方模型预测结果和所述第二方模型预测结果进行加权聚合，获得目标联邦预测结果。2.如权利要求1所述纵向联邦预测优化方法，其特征在于，所述目标残差提升模型由所述第二设备基于所述第一设备发送的目标预测模型对应的目标残差提升数据，对所述本地残差提升模型进行基于残差学习的迭代训练优化得到，所述本地残差提升模型由所述第二设备基于所述第一设备发送的本地预测模型对应的残差提升数据，对待训练残差提升模型进行基于残差学习的迭代优化得到。3.如权利要求1所述纵向联邦预测优化方法，其特征在于，所述与所述第二设备进行联邦交互，以供所述第二设备确定所述第一方待预测样本对应的第二方待预测样本的步骤包括：获取所述目标预测模型的特征提取器针对所述第一方待预测样本进行特征提取生成的中间样本特征；将所述中间样本特征和所述第一方待预测样本对应的待预测样本ID发送所述第二设备，以供所述第二设备基于所述待预测样本ID对应的ID匹配样本和所述中间样本特征确定所述第二方待预测样本；或者将所述第一方待预测样本对应的待预测样本ID发送所述第二设备，以供所述第二设备将所述待预测样本ID对应的ID匹配样本作为所述第二方待预测样本。4.如权利要求1所述纵向联邦预测优化方法，其特征在于，在所述获取所述目标预测模型针对所述第一方待预测样本进行模型预测生成的第一方模型预测结果，其中，所述目标预测模型由所述第一设备在本地迭代训练的本地预测模型与所述本地预测模型联合第二设备中的本地残差提升模型共同组成的联邦学习教师模型之间进行模型蒸馏得到的步骤之前，所述纵向联邦预测优化方法还包括：基于公共样本集中提取的第一训练样本，对所述待训练本地预测模型进行迭代训练优化，获得本地预测模型，并将所述本地预测模型对应的残差提升数据发送至第二设备，以供所述第二设备基于所述第一训练样本对应的第一训练对齐样本和所述残差提升数据，对所述待训练残差提升模型进行基于残差学习的迭代训练优化，获得本地残差提升模型；在所述公共样本集中提取第二训练样本，并获取所述本地预测模型相对于所述本地预测模型与所述本地残差提升模型组成的联邦学习教师模型在所述第二训练样本上的模型蒸馏损失；2CN113673700A权利要求书2/7页基于所述模型蒸馏损失构建的模型总损失，迭代优化所述本地预测模型，获得目标预测模型。5.