一种基于多方安全计算的模型训练方法和系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112990475A(43)申请公布日2021.06.18(21)申请号202110159936.9(22)申请日2021.02.05(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人周亚顺赵原尹栋(74)专利代理机构成都七星天知识产权代理有限公司51253代理人袁春晓(51)Int.Cl.G06N20/00(2019.01)G06F21/71(2013.01)权利要求书4页说明书18页附图6页(54)发明名称一种基于多方安全计算的模型训练方法和系统(57)摘要本说明书实施例公开了一种基于多方安全计算的模型训练方法和系统。其中，所述方法包括应用于第一计算方，所述方法包括：基于模型参数矩阵的第一分片，与其他计算方协同运算，获得第一乘积矩阵的第一分片；基于第一乘积矩阵的第一分片，与其他计算方协同运算，获得激活矩阵的第一分片；基于激活矩阵的第一分片和标签矩阵，与其他计算方协同运算，获得当前轮的梯度矩阵的第一分片；基于前一轮的动量梯度矩阵的第一分片与当前轮的梯度矩阵的第一分片，确定当前轮的动量梯度矩阵的第一分片；基于模型参数矩阵的第一分片与当前轮的动量梯度矩阵的第一分片，确定更新后的模型参数矩阵的第一分片。CN112990475ACN112990475A权利要求书1/4页1.一种基于多方安全计算的模型训练方法，应用于第一计算方，所述第一计算方持有标签矩阵以及模型参数矩阵的第一分片；所述方法包括对模型参数进行一轮或多轮迭代更新，其中一轮迭代更新包括：基于模型参数矩阵的第一分片，与其他计算方协同运算，获得第一乘积矩阵的第一分片；其中，所述其他计算方持有特征矩阵以及模型参数矩阵的第二分片；所述第一乘积矩阵为模型参数矩阵与特征矩阵的乘积；基于所述第一乘积矩阵的第一分片，与所述其他计算方协同运算，获得激活矩阵的第一分片，其中，所述激活矩阵的元素为第一乘积矩阵中对位元素的激活函数值；基于所述激活矩阵的第一分片和所述标签矩阵，与所述其他计算方协同运算，获得当前轮的梯度矩阵的第一分片；其中，所述梯度矩阵为激活矩阵与标签矩阵之差与特征矩阵的乘积；基于前一轮的动量梯度矩阵的第一分片与当前轮的梯度矩阵的第一分片，确定当前轮的动量梯度矩阵的第一分片；基于所述模型参数矩阵的第一分片与所述当前轮的动量梯度矩阵的第一分片，确定更新后的模型参数矩阵的第一分片。2.如权利要求1所述的方法，所述激活函数值通过激活函数的拟合多项式计算得到；所述基于所述第一乘积矩阵的第一分片，与所述其他计算方协同运算，获得激活矩阵的第一分片，包括：所述基于所述第一乘积矩阵的第一分片，与所述其他计算方协同运算以基于所述拟合多项式获得激活矩阵的第一分片。3.如权利要求1所述的方法，当所述一轮迭代更新为第一轮迭代更新时，所述前一轮的动量梯度矩阵的第一分片为0；所述一轮迭代更新为第二轮迭代更新时，所述前一轮的动量梯度矩阵的第一分片为第一轮的梯度矩阵的第一分片。4.如权利要求1或3所述的方法，所述当前轮的动量梯度矩阵的第一分片为前一轮的动量梯度矩阵的第一分片与当前轮的梯度矩阵的第一分片的加权和值。5.如权利要求1所述的方法，所述基于所述模型参数矩阵的第一分片与所述当前轮的动量梯度矩阵的第一分片，确定更新后的模型参数矩阵的第一分片，包括：将所述当前轮的动量梯度矩阵的第一分片与预设学习率相乘，得到第二乘积矩阵；计算所述模型参数矩阵的第一分片和所述第二乘积矩阵的差值，将差值确定为更新后的模型参数矩阵的第一分片。6.一种基于多方安全计算的模型训练系统，应用于第一计算方，所述第一计算方持有标签矩阵以及模型参数矩阵的第一分片；所述系统用于对模型参数进行一轮或多轮迭代更新，其中所述系统包括：第一获得模块，用于基于模型参数矩阵的第一分片，与其他计算方协同运算，获得第一乘积矩阵的第一分片；其中，所述其他计算方持有特征矩阵以及模型参数矩阵的第二分片；所述第一乘积矩阵为模型参数矩阵与特征矩阵的乘积；第二获得模块，用于基于所述第一乘积矩阵的第一分片，与所述其他计算方协同运算，获得激活矩阵的第一分片，其中，所述激活矩阵的元素为第一乘积矩阵中对位元素的激活函数值；2CN112990475A权利要求书2/4页第三获得模块，用于基于所述激活矩阵的第一分片和所述标签矩阵，与所述其他计算方协同运算，获得当前轮的梯度矩阵的第一分片；其中，所述梯度矩阵为激活矩阵与标签矩阵之差与特征矩阵的乘积；第一确定模块，用于基于前一轮的动量梯度矩阵的第一分片与当前轮的梯度矩阵的第一分片，确定当前轮的动量梯度矩阵的第一分片；第二确定模块，用于基于所述模型参数矩阵的第一分片与所述当前轮的动量梯度矩阵的第一