预览加载中,请您耐心等待几秒...
1/10
2/10
3/10
4/10
5/10
6/10
7/10
8/10
9/10
10/10

亲,该文档总共29页,到这已经超出免费预览范围,如果喜欢就直接下载吧~

如果您无法下载资料,请参考说明:

1、部分资料下载需要金币,请确保您的账户上有足够的金币

2、已购买过的文档,再次下载不重复扣费

3、资料包下载后请先用软件解压,在使用对应软件打开

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110942147A(43)申请公布日2020.03.31(21)申请号201911195445.9(22)申请日2019.11.28(71)申请人支付宝(杭州)信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人陈超超郑龙飞王力周俊(74)专利代理机构北京永新同创知识产权代理有限公司11376代理人林锦辉(51)Int.Cl.G06N3/08(2006.01)G06F21/62(2013.01)G06F21/60(2013.01)G06F21/71(2013.01)权利要求书4页说明书15页附图9页(54)发明名称基于多方安全计算的神经网络模型训练及预测方法、装置(57)摘要本说明书实施例提供基于多方安全计算的神经网络模型训练方法、模型预测方法及装置。神经网络模型被分割为至少一个客户端模型和至少一个服务端模型,服务端模型部署在服务端,客户端模型部署在对应训练参与方的客户端。在每次循环时,训练样本数据被提供给神经网络模型来得到当前预测值和当前预测差值。在各个客户端模型,经由各个训练参与方使用各自的客户端子模型以及所接收的数据逐层进行多方安全计算。在各个服务端模型,使用在前客户端模型的计算结果逐层进行非多方安全计算。在循环未结束时,根据当前预测差值,通过反向传播来调整服务端模型和客户端子模型的各层模型参数。利用该方法,能够在确保隐私数据安全的情况下提高模型训练效率。CN110942147ACN110942147A权利要求书1/4页1.一种基于多方安全计算的神经网络模型训练方法,其中,所述神经网络模型利用第一数目个训练参与方协同训练,所述神经网络模型包括多个隐层并且被按照客户端模型与服务端模型间隔的方式分割为至少一个客户端模型和至少一个服务端模型,每个客户端模型被分解为第一数目个客户端子模型,每个客户端子模型具有相同的子模型结构,所述至少一个服务端模型部署在服务端,每个客户端子模型部署在对应的训练参与方的客户端,所述方法包括:执行下述循环过程,直到满足循环结束条件:将训练样本数据提供给当前神经网络模型,以经由各个当前客户端模型和各个当前服务端模型配合计算来得到所述当前神经网络模型的当前预测值,其中,在各个当前客户端模型,经由各个训练参与方,使用各自的当前客户端子模型以及所述训练样本数据或者在前的当前服务端模型的计算结果来逐层进行多方安全计算,以得到该当前客户端模型的计算结果,以及在各个当前服务端模型,使用在前的当前客户端模型的计算结果来逐层进行非多方安全计算,以得到该当前服务端模型的计算结果;基于所述当前预测值和样本标记值,确定当前预测差值;以及在不满足所述循环结束条件时,根据所述当前预测差值,通过反向传播来逐层调整各个当前服务端模型和各个当前客户端子模型的各层模型参数,所述调整后的各个服务端模型和各个客户端子模型充当下一循环过程的各个当前服务端模型和各个当前客户端子模型。2.如权利要求1所述的神经网络模型训练方法,其中,所述服务端模型中的神经网络模型分层结构的模型计算与数据隐私保护无关。3.如权利要求1所述的神经网络模型训练方法,其中,所述客户端模型所包括的隐层的总层数根据用于模型训练的算力、应用场景所要求的训练时效性和/或训练安全等级确定。4.如权利要求1所述的神经网络模型训练方法,其中,所述神经网络模型包括N个隐层,所述神经网络模型被分割为第一客户端模型和单个服务端模型,所述第一客户端模型包括输入层以及第一隐层到第K隐层,以及所述服务端模型包括输出层以及第K+1隐层到第N隐层。5.如权利要求1所述的神经网络模型训练方法,其中,所述神经网络模型包括N个隐层,所述神经网络模型被分割为第一客户端模型、单个服务端模型和第二客户端模型,所述第一客户端模型包括输入层以及第一隐层到第K隐层,所述服务端模型包括第K+1隐层到第L隐层,以及所述第二客户端模型包括输出层以及第L+1隐层到第N隐层。6.如权利要求1所述的神经网络模型训练方法,其中,所述神经网络模型包括N个隐层,所述神经网络模型被分割为第一客户端模型、单个服务端模型和第二客户端模型,所述第一客户端模型包括输入层以及第一隐层到第K隐层,所述服务端模型包括第K+1隐层到第N隐层,以及所述第二客户端模型包括输出层。7.如权利要求1所述的神经网络模型训练方法,其中,所述当前预测差值的确定过程在所述服务端执行或者在拥有所述样本标记值的训练参与方的客户端执行。8.如权利要求1所述的神经网络模型训练方法,其中,所述循环结束条件包括:循环次数达到预定次数;或者当前预测差值在预定差值范围内。2CN110942147A权利要求书2/4页9.如权利要求1所述的神经网络模型训练方法,