模型训练、预测方法及其系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110929886A(43)申请公布日2020.03.27(21)申请号201911248776.4(22)申请日2019.12.06(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人郑龙飞陈超超王力周俊(74)专利代理机构成都七星天知识产权代理有限公司51253代理人袁春晓(51)Int.Cl.G06N20/00(2019.01)G06N3/08(2006.01)权利要求书4页说明书17页附图10页(54)发明名称模型训练、预测方法及其系统(57)摘要本说明书中的实施例提供了模型训练、预测方法及其系统。模型被划分成本地模型和中心节点模型，各训练节点训练相同结构的本地模型，中心节点训练中心节点模型。训练过程中，各训练节点将训练样本的特征值拆分以获得特征值分片，互相交换特征值分片，基于交换结果及本地模型的第一模型参数通过秘密共享算法计算本地模型的第一输出分片，将第一输出分片发送给中心节点。中心节点基于同一样本ID对应的各训练节点的第一输出分片计算第一输入，基于同一样本ID对应的第一输入和样本标签训练中心节点模型，向各训练节点反馈中心节点模型输入层的目标梯度。各训练节点基于目标梯度更新本地模型参数。如此，可以保护数据隐私。CN110929886ACN110929886A权利要求书1/4页1.一种模型训练方法，其中，所述方法由N个训练节点中的某一训练节点执行，N为大于1的整数；所述N个训练节点均与中心节点通信连接，N个训练节点具有训练样本的样本ID对应相同的训练集，至少一个训练节点的训练集具有与其他训练节点不同的特征项；所述方法包括：确定所述训练集的维度数据；与中心节点和/或其他N-1个训练节点交互所述维度数据，以确定待训练的本地模型的模型结构；基于所述模型结构确定第一模型参数；将训练样本的特征值拆分以获得特征值分片；与其他N-1个训练节点交换特征值分片；基于交换结果及第一模型参数通过秘密共享算法计算本地模型的第一输出分片；将所述第一输出分片发送给所述中心节点；接收所述中心节点反馈的目标梯度；基于所述目标梯度对所述本地模型的参数进行更新。2.根据权利要求1所述的方法，其中，所述模型结构包括层数以及各层的节点数。3.根据权利要求1所述的方法，其中，将训练样本的特征值拆分以获得特征值分片，包括，对于训练集中的任一训练样本：将训练样本的每一个特征值：进行拆分，得到N个加性数值分片；将训练样本各特征值的其中一个加性数值分片按位拼接，得到1个特征值分片；以此，得到N个特征值分片。4.根据权利要求1所述的方法，其中，与其他N-1个训练节点交换特征值分片，包括：与其他N-1个训练节点交换相同样本ID对应的N-1个特征值分片。5.根据权利要求1或4所述的方法，其中，所述基于交换结果及第一模型参数通过秘密共享算法计算本地模型的第一输出分片，包括：对于任一训练样本：基于自身剩余特征值分片以及来自其他N-1个训练节点的特征值分片，生成第一特征向量；其中，各特征值分片对应同一个样本ID；基于第一模型参数以及第一特征向量，与其他N-1个训练节点通过秘密共享算法计算所述第一输出分片。6.根据权利要求5所述的方法，其中，所述基于第一模型参数以及第一特征向量，与其他N-1个训练节点通过秘密共享算法计算得到所述第一输出分片包括：从本地模型输入层的下一层起，基于当前层的上一层的输出以及第一模型参数中当前层的上一层对应的参数层，与其他N-1个训练节点通过秘密共享算法计算得到当前层的输入分片；依此正向传递处理，直到计算出本地模型的输出层的输入分片，将所述输出层的输入分片确定为所述第一输出分片。7.根据权利要求6所述的方法，其中，所述基于当前层的上一层的输出以及第一模型参数中当前层的上一层对应的参数层，与其他N-1个训练节点通过秘密共享算法计算得到当前层的输入分片，包括：设当前层为第t层，t＞1：2CN110929886A权利要求书2/4页基于第一模型参数的第t-1层以及第t-1层的输出，计算获得第t层的输入分片的第一子片；利用第一模型参数的第t-1层，通过秘密共享算法分别与其他N-1个训练节点第t-1层的输出协同计算获得N-1个第t层的输入分片的第二子片；利用第t-1层的输出，通过秘密共享算法分别与其他N-1个训练节点的第一模型参数的第t-1层协同计算获得N-1个第t层的输入分片的第三子片；基于第一子片、各第二子片以及各第三子片，获得第t层的输入分片。8.根据权利要求1所述的方法，其中，还包括将训练样本的样本标签发送给中心节点。9.根据权利要求1所述的方法，其中，所述基于所述目标梯度对所述本地模型的参数进行更新，包括：将