一种基于多方安全计算的多分类模型训练方法和系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112561085A(43)申请公布日2021.03.26(21)申请号202110192710.9(22)申请日2021.02.20(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人周亚顺李漓春王华忠(74)专利代理机构成都七星天知识产权代理有限公司51253代理人袁春晓(51)Int.Cl.G06N20/00(2019.01)G06K9/62(2006.01)G06F17/16(2006.01)G06F21/60(2013.01)权利要求书4页说明书18页附图6页(54)发明名称一种基于多方安全计算的多分类模型训练方法和系统(57)摘要本说明书实施例公开了一种基于多方安全计算的多分类模型训练方法和系统，以保护模型训练过程中双方数据的隐私。对于任一参与方，基于其持有的数据与其他计算方协同运算，分别获得第一乘积矩阵的分片、激活矩阵的分片、梯度矩阵的分片以及更新后的模型参数矩阵的分片。CN112561085ACN112561085A权利要求书1/4页1.一种基于多方安全计算的多分类模型训练方法，应用于第一计算方，所述第一计算方持有模型参数矩阵的第一分片和标签矩阵；所述标签矩阵的行数与列数基于类别个数以及训练样本的数量确定，且所述标签矩阵中的元素指示该元素对应训练样本是否属于该元素对应的类别；所述模型参数矩阵的行数与列数基于类别个数和训练样本的特征个数确定；所述方法包括：基于模型参数矩阵的第一分片，与其他计算方协同运算，获得第一乘积矩阵的第一分片；其中，所述其他计算方持有模型参数矩阵的第二分片和特征矩阵，所述特征矩阵的行数与列数基于所述特征个数以及训练样本的数量确定，所述特征矩阵的元素指示该元素对应的训练样本在该元素对应的特征下的取值；所述第一乘积矩阵为模型参数矩阵与特征矩阵的乘积；基于所述第一乘积矩阵的第一分片，与所述其他计算方协同运算，获得激活矩阵的第一分片，其中，所述激活矩阵的元素为第一乘积矩阵中对位元素的激活函数值；基于所述激活矩阵的第一分片和所述标签矩阵，与所述其他计算方协同运算，获得梯度矩阵的第一分片；其中，所述梯度矩阵为激活矩阵与标签矩阵之差与特征矩阵的乘积；基于所述模型参数矩阵的第一分片与所述梯度矩阵的第一分片，确定更新后的模型参数矩阵的第一分片。2.如权利要求1所述的方法，所述标签矩阵的行与多个类别一一对应，所述标签矩阵的列与多个训练样本一一对应；对于所述标签矩阵的任一行：属于该行对应类别的训练样本对应的元素为1，否则为0。3.如权利要求1所述的方法，所述模型参数矩阵的行与多个类别一一对应，所述模型参数矩阵的列与训练样本的特征一一对应。4.如权利要求1所述的方法，所述激活函数值通过激活函数的拟合多项式计算得到；所述基于所述第一乘积矩阵的第一分片，与所述其他计算方协同运算，获得激活矩阵的第一分片，包括：所述基于所述第一乘积矩阵的第一分片，与所述其他计算方协同运算以基于所述拟合多项式获得激活矩阵的第一分片。5.如权利要求1所述的方法，所述基于所述模型参数矩阵的第一分片与所述梯度矩阵的第一分片，确定更新后的模型参数矩阵的第一分片，包括：将所述梯度矩阵的第一分片与预设学习率相乘，得到第二乘积矩阵；计算所述模型参数矩阵的第一分片和所述第二乘积矩阵的差值，将所述差值确定为所述更新后的模型参数矩阵的第一分片。6.一种基于多方安全计算的多分类模型训练系统，应用于第一计算方，所述第一计算方持有模型参数矩阵的第一分片和标签矩阵；所述标签矩阵的行数与列数基于类别个数以及训练样本的数量确定，且所述标签矩阵中的元素指示该元素对应训练样本是否属于该元素对应的类别；所述模型参数矩阵的行数与列数基于类别个数和训练样本的特征个数确定；所述系统包括：第一乘积矩阵分片获得模块，用于基于模型参数矩阵的第一分片，与其他计算方协同运算，获得第一乘积矩阵的第一分片；其中，所述其他计算方持有模型参数矩阵的第二分片和特征矩阵，所述特征矩阵的行数与列数基于所述特征个数以及训练样本的数量确定，所2CN112561085A权利要求书2/4页述特征矩阵的元素指示该元素对应的训练样本在该元素对应的特征下的取值；所述第一乘积矩阵为模型参数矩阵与特征矩阵的乘积；第一激活矩阵分片获得模块，用于基于所述第一乘积矩阵的第一分片，与所述其他计算方协同运算，获得激活矩阵的第一分片，其中，所述激活矩阵的元素为第一乘积矩阵中对位元素的激活函数值；第一梯度矩阵分片获得模块，用于基于所述激活矩阵的第一分片和所述标签矩阵，与所述其他计算方协同运算，获得梯度矩阵的第一分片；其中，所述梯度矩阵为激活矩阵与标签矩阵之差与特征矩阵的乘积；第一模型参数矩