模型训练方法、装置和电子设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111967035A(43)申请公布日2020.11.20(21)申请号202011144330.X(22)申请日2020.10.23(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人周亚顺李漓春张祺智(74)专利代理机构北京三友知识产权代理有限公司11127代理人周达阚传猛(51)Int.Cl.G06F21/60(2013.01)权利要求书8页说明书23页附图13页(54)发明名称模型训练方法、装置和电子设备(57)摘要本说明书实施例公开了一种模型训练方法、装置和电子设备。所述方法包括：第一方根据特征数据和原始模型参数的第一份额与第二方秘密分享第一乘积，得到第一乘积的第一份额；向第三方发送第一乘积的第一份额；接收第三方发来的激励函数的取值的第一份额；根据特征数据和所述取值的第一份额与第二方秘密分享损失函数的梯度，得到所述梯度的第一份额；根据特征数据和所述取值的第一份额与第二方秘密分享海森矩阵，得到海森矩阵的第一份额；若海森矩阵的条件数满足预设条件，根据原始模型参数的第一份额、所述梯度的第一份额和海森矩阵的第一份额与第二方秘密分享新的模型参数，得到新的模型参数的第一份额。本说明书实施例可以保护数据隐私。CN111967035ACN111967035A权利要求书1/8页1.一种模型训练方法，应用于模型训练系统，所述模型训练系统包括第一方、第二方和第三方，所述第一方持有样本的特征数据，所述第二方持有样本的标签，该方法包括：第一方根据特征数据和原始模型参数的第一份额，第二方根据原始模型参数的第二份额，秘密分享第一乘积，第一方得到第一乘积的第一份额，第二方得到第一乘积的第二份额，所述第一乘积为特征数据和原始模型参数的乘积；第三方获得第一乘积的第一份额和第二份额，根据第一乘积的第一份额和第二份额，确定激励函数的取值的第一份额和第二份额，分别向第一方和第二方发送所述取值的第一份额和第二份额，第一方接收所述取值的第一份额，第二方接收所述取值的第二份额；第一方根据特征数据和所述取值的第一份额，第二方根据标签和所述取值的第二份额，秘密分享损失函数的梯度，第一方得到所述梯度的第一份额，第二方得到所述梯度的第二份额；第一方根据特征数据和所述取值的第一份额，第二方根据所述取值的第二份额，秘密分享海森矩阵，第一方得到海森矩阵的第一份额，第二方得到海森矩阵的第二份额；若海森矩阵的条件数满足预设条件，第一方根据原始模型参数的第一份额、所述梯度的第一份额和海森矩阵的第一份额，第二方根据原始模型参数的第二份额、所述梯度的第二份额和海森矩阵的第二份额，秘密分享新的模型参数，第一方得到新的模型参数的第一份额，第二方得到新的模型参数的第二份额。2.一种模型训练方法，应用于第一方，所述第一方持有样本的特征数据，该方法包括：根据特征数据和原始模型参数的第一份额与第二方秘密分享第一乘积，得到第一乘积的第一份额，所述第一乘积为特征数据和原始模型参数的乘积；向第三方发送第一乘积的第一份额；接收第三方发来的激励函数的取值的第一份额；根据特征数据和所述取值的第一份额与第二方秘密分享损失函数的梯度，得到所述梯度的第一份额；根据特征数据和所述取值的第一份额与第二方秘密分享海森矩阵，得到海森矩阵的第一份额；若海森矩阵的条件数满足预设条件，根据原始模型参数的第一份额、所述梯度的第一份额和海森矩阵的第一份额与第二方秘密分享新的模型参数，得到新的模型参数的第一份额。3.如权利要求2所述的方法，还包括：获得随机数的第一份额；根据所述随机数的第一份额和海森矩阵的第一份额与第二方秘密分享第二乘积，得到第二乘积的第一份额，所述第二乘积为所述随机数和海森矩阵之间的乘积；相应地，所述与第二方秘密分享新的模型参数，包括：若第二乘积的条件数满足预设条件，根据原始模型参数的第一份额、所述梯度的第一份额和海森矩阵的第一份额与第二方秘密分享新的模型参数，得到新的模型参数的第一份额。4.如权利要求3所述的方法，所述随机数包括随机正交矩阵。5.如权利要求3所述的方法，还包括：向第二方发送第二乘积的第一份额，以便第二方计算第二乘机的条件数；或者，接收第二方发来的第二乘积的第二份额，将第二乘积的第一份额和第二份额相2CN111967035A权利要求书2/8页加，得到第二乘积，计算第二乘积的条件数。6.如权利要求2所述的方法，所述与第二方秘密分享新的模型参数，包括：根据海森矩阵的第一份额与第二方秘密分享海森矩阵的逆矩阵，得到所述逆矩阵的第一份额；根据原始模型参数的第一份额、所述梯度的第一份额和所述逆矩阵的第一份额与第二方秘密分享新的模型参数，得到新的模型参数的第一份额。7