预览加载中,请您耐心等待几秒...
1/10
2/10
3/10
4/10
5/10
6/10
7/10
8/10
9/10
10/10

亲,该文档总共24页,到这已经超出免费预览范围,如果喜欢就直接下载吧~

如果您无法下载资料,请参考说明:

1、部分资料下载需要金币,请确保您的账户上有足够的金币

2、已购买过的文档,再次下载不重复扣费

3、资料包下载后请先用软件解压,在使用对应软件打开

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114969846A(43)申请公布日2022.08.30(21)申请号202210466963.5(22)申请日2022.04.29(71)申请人支付宝(杭州)信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人刘颖婷王力王磊(74)专利代理机构北京亿腾知识产权代理事务所(普通合伙)11309专利代理师陈霁周良玉(51)Int.Cl.G06F21/71(2013.01)G06N20/00(2019.01)权利要求书4页说明书14页附图5页(54)发明名称多方联合训练逻辑回归模型的方法及装置(57)摘要本说明书实施例提供一种多方联合训练逻辑回归模型的方法,所述多方各自持有形成训练样本集的部分数据,所述方法应用于多方中任意的第一方;所述方法涉及多期训练,其中任一期包括:获取本期针对所述训练样本集划分出的多个批次;针对所述多个批次中的每个批次,基于该批次训练样本的第一特征分片和第一标签分片,以及所述逻辑回归模型的第一参数分片,确定第一损失分片,用于还原该批次对应的训练损失;在所述第一方为指定方的情况下,基于所述多个批次对应的多个训练损失,确定本期训练损失,用于评估本期训练后的逻辑回归模型的收敛状态。CN114969846ACN114969846A权利要求书1/4页1.一种多方联合训练逻辑回归模型的方法,所述多方各自持有形成训练样本集的部分数据,所述方法应用于多方中任意的第一方;所述方法涉及多期训练,其中任一期包括:获取本期针对所述训练样本集划分出的多个批次;针对所述多个批次中的每个批次,基于该批次训练样本的第一特征分片和第一标签分片,以及所述逻辑回归模型的第一参数分片,确定第一损失分片,用于还原该批次对应的训练损失;在所述第一方为指定方的情况下,基于所述多个批次对应的多个训练损失,确定本期训练损失,用于评估本期训练后的逻辑回归模型的收敛状态。2.根据权利要求1所述的方法,还包括:基于所述第一特征分片、第一标签分片和第一参数分片,确定第一梯度分片;利用所述第一梯度分片更新所述第一参数分片。3.根据权利要求1所述的方法,其中,在基于所述多个批次对应的多个训练损失,确定本期训练损失之前,所述方法还包括:从所述多方中除所述第一方以外的其他方,接收与所述每个批次对应的其他损失分片;基于与所述每个批次对应的第一损失分片和其他损失分片,还原对应的训练损失。4.根据权利要求1所述的方法,其中,基于所述多个批次对应的多个训练损失,确定本期训练损失,包括:从所述多个训练损失中随机抽取预定数量的训练损失;求取所述预定数量的训练损失的平均值,作为所述本期训练损失。5.根据权利要求1所述的方法,其中,在确定本期训练损失之后,所述方法还包括:根据所述本期训练损失,确定所述收敛状态;在所述收敛状态为已收敛的情况下,停止训练,并将所述本期训练后的逻辑回归模型确定为训练好的逻辑回归模型。6.根据权利要求5所述的方法,其中,本期训练非首期;其中,根据所述本期训练损失,确定所述收敛状态,包括:根据所述本期训练损失与上一期训练损失,确定训练损失的变化率;在所述变化率小于预设阈值的情况下,将所述收敛状态确定为已收敛。7.根据权利要求5所述的方法,其中,所述方法还包括:在所述收敛状态为异常的情况下,停止训练,并提示工作人员调整训练使用的超级参数,所述超级参数包括学习率或每批次的样本量。8.一种多方联合训练逻辑回归模型的方法,所述多方各自持有形成训练样本集的部分数据,所述方法应用于多方中任意的第一方;所述方法涉及多期训练,其中任一期包括:获取本期针对所述训练样本集划分出的多个批次;针对所述多个批次中的每个批次,基于该批次训练样本的第一特征分片和第一标签分片,以及所述逻辑回归模型的第一参数分片,确定第一梯度分片,用于更新所述第一参数分片和还原对应的训练梯度;在所述第一方为指定方的情况下,基于所述多个批次对应的多个训练梯度,确定本期的训练梯度范数,用于评估本期训练后的逻辑回归模型的收敛状态。2CN114969846A权利要求书2/4页9.根据权利要求8所述的方法,其中,在基于所述多个批次对应的多个训练梯度,确定本期的训练梯度范数之前,所述方法还包括:从所述多方中除所述第一方以外的其他方,接收与所述每个批次对应的其他梯度分片;基于与所述每个批次对应的第一梯度分片和其他梯度分片,还原对应的训练梯度。10.根据权利要求8所述的方法,其中,基于所述多个批次对应的多个训练梯度,确定本期的训练梯度范数,包括:从所述多个训练梯度中随机抽取预定数量的训练梯度;针对所述预定数量的训练梯度中的各个训练梯度,计算其对应的范数;求取所述范数的均值,作为所述训练梯度范数。11.根据权利要求8所述的