基于多方安全计算的机器学习模型训练及预测方法、装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111061963A(43)申请公布日2020.04.24(21)申请号201911194334.6(22)申请日2019.11.28(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人陈超超王力周俊(74)专利代理机构北京永新同创知识产权代理有限公司11376代理人林锦辉(51)Int.Cl.G06F16/9536(2019.01)G06F21/62(2013.01)权利要求书3页说明书13页附图6页(54)发明名称基于多方安全计算的机器学习模型训练及预测方法、装置(57)摘要本说明书实施例提供基于多方安全计算的非线性机器学习模型训练方法、模型预测方法及装置。非线性机器学习模型被分解为多个子模型，每个子模型部署在对应训练参与方处。在每次循环时，将非线性机器学习模型的模型计算分割为至少一个第一模型计算和至少一个第二模型计算。针对各个第一模型计算，经由各个训练参与方使用对应模型参数以及训练样本数据或者在前第二模型计算的计算结果来进行多方安全计算。针对各个第二模型计算，使用在前第一模型计算的计算结果来在可信计算设备的可信执行环境中进行可信计算。在循环未结束时，根据预测差值调整各个训练参与方的子模型。利用该方法，能够在确保隐私数据安全的情况下提高模型训练效率。CN111061963ACN111061963A权利要求书1/3页1.一种基于多方安全计算的非线性机器学习模型训练方法，其中，所述非线性机器学习模型利用第一数目个训练参与方协同训练并且被分解为第一数目个子模型，每个训练参与方具有一个子模型，所述方法包括：执行下述循环过程，直到满足循环结束条件：将训练样本数据提供给当前非线性机器学习模型，以经由各个训练参与方和可信计算设备配合计算来得到所述当前非线性机器学习模型的当前预测值，其中，所述当前非线性机器学习模型的模型计算被按照第一模型计算和第二模型计算间隔的方式分割为至少一个第一模型计算和至少一个第二模型计算，所述第一模型计算是线性模型计算，所述第二模型计算包括非线性模型计算，针对各个第一模型计算，经由各个训练参与方，使用各自当前子模型的对应模型参数以及所述训练样本数据或者在前第二模型计算的计算结果来进行多方安全计算，以得到该第一模型计算的计算结果，以及针对各个第二模型计算，使用在前第一模型计算的计算结果来在所述可信计算设备的可信执行环境中进行可信计算，以得到该第二模型计算的计算结果；基于所述当前预测值和样本标记值，确定当前预测差值；以及在不满足所述循环结束条件时，根据所述当前预测差值，调整各个训练参与方处的子模型，所述调整后的各个训练参与方处的子模型充当下一循环过程的各个训练参与方处的当前子模型。2.如权利要求1所述的非线性机器学习模型训练方法，其中，各个训练参与方与所述可信计算设备之间交互的计算结果是经过加密后的计算结果。3.如权利要求1所述的非线性机器学习模型训练方法，其中，所述第二模型计算还包括线性模型计算，以及所述第一模型计算的数目根据用于模型训练的算力、应用场景所要求的训练时效性和/或模型训练精度来确定。4.如权利要求1所述的非线性机器学习模型训练方法，其中，所述可信计算设备包括SGX设备或TrustZone设备。5.如权利要求1所述的非线性机器学习模型训练方法，其中，所述当前预测差值的确定过程在所述可信计算设备执行或者在拥有所述样本标记值的训练参与方处执行。6.如权利要求1所述的非线性机器学习模型训练方法，其中，所述循环结束条件包括：循环次数达到预定次数；或者当前预测差值在预定差值范围内。7.如权利要求1所述的非线性机器学习模型训练方法，其中，所述多方安全计算包括秘密共享、混淆电路和同态加密中的一种。8.如权利要求1所述的非线性机器学习模型训练方法，其中，所述非线性机器学习模型包括逻辑回归模型或者神经网络模型。9.如权利要求1到8中任何一个所述的非线性机器学习模型训练方法，其中，所述训练样本数据包括基于图像数据、语音数据或者文本数据的训练样本数据，或者所述训练样本数据包括用户特征数据。10.一种基于非线性机器学习模型的模型预测方法，其中，所述非线性机器学习模型经由第一数目个模型拥有方协同训练出并且被分解为第一数目个子模型，每个模型拥有方具有一个子模型，所述模型预测方法包括：2CN111061963A权利要求书2/3页接收待预测数据；以及将所述待预测数据提供给非线性机器学习模型，以经由各个模型拥有方和可信计算设备配合计算来得到所述非线性机器学习模型的预测值，其中，所述非线性机器学习模型的模型计算被按照第一模型计算和第二模型计算间隔的方式分割为至少一个第一模型计算和至少一个第