一种模型联合训练的方法和系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113689006A(43)申请公布日2021.11.23(21)申请号202111074304.9(22)申请日2020.04.23(62)分案原申请数据202010326265.62020.04.23(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人陈超超曹绍升王力周俊(74)专利代理机构成都七星天知识产权代理有限公司51253代理人袁春晓(51)Int.Cl.G06N20/20(2019.01)权利要求书2页说明书9页附图2页(54)发明名称一种模型联合训练的方法和系统(57)摘要本说明书实施例公开了一种模型联合训练的方法及系统。所述方法包括：多个联合训练的参与终端分别基于所述终端自身持有的私有数据联合进行模型训练，多个联合训练的参与终端分别使用基于梯度的优化算法生成各自的梯度；所述多个参与终端分别将所述各自的梯度发送给服务器；所述服务器从多个所述梯度中选取可信任梯度，并且根据选取的所述可信任梯度更新所述联合训练模型的参数；所述样本数据为文本数据、语音数据或者图形数据。CN113689006ACN113689006A权利要求书1/2页1.一种模型联合训练的方法，所述方法包括：获取多个梯度，其中，所述多个梯度由多个联合训练的参与终端分别基于所述终端自身持有的样本数据进行模型联合训练得到；计算所述多个梯度的第一平均值，并且分别比较所述多个梯度与所述第一平均值，获取多个偏差结果；基于所述多个偏差结果，从所述多个梯度中选取可信任梯度，其中，所述多个梯度中除可信任梯度外的其他梯度为可疑梯度，所述可疑梯度不被用于本次更新联合训练模型的参数；计算所述多个可信任梯度的第二平均值，并且根据所述第二平均值更新所述联合训练模型的参数；所述样本数据为文本数据、语音数据或者图形数据。2.根据权利要求1所述的方法，其中，所述从所述多个梯度中选取可信任梯度包括：从所述多个梯度中选取偏差小于预设阈值的所述梯度作为可信任梯度。3.根据权利要求1所述的方法，其中，所述从所述多个梯度中选取可信任梯度包括：确定所述多个偏差结果的偏差由小到大的排名，从所述多个梯度中选取排名小于预设阈值的所述梯度作为可信任梯度。4.根据权利要求1所述的方法，其中，所述根据所述第二平均值更新所述联合训练模型的参数包括：将所述第二平均值作为所述联合训练模型的参数对应的梯度，使用所述基于梯度的优化算法更新所述联合训练模型的参数。5.一种模型联合训练的系统，所述系统包括：更新模块，用于：获取多个梯度，其中，所述多个梯度由多个联合训练的参与终端分别基于所述终端自身持有的样本数据进行模型联合训练得到；计算所述多个梯度的第一平均值，并且分别比较所述多个梯度与所述第一平均值，获取多个偏差结果；基于所述多个偏差结果，从所述多个梯度中选取可信任梯度，其中，所述多个梯度中除可信任梯度外的其他梯度为可疑梯度，所述可疑梯度不被用于本次更新联合训练模型的参数；计算所述多个可信任梯度的第二平均值，并且根据所述第二平均值更新所述联合训练模型的参数；所述样本数据为文本数据、语音数据或者图形数据。6.根据权利要求5所述的系统，其中，为了从所述多个梯度中选取可信任梯度，所述更新模块还用于：从所述多个梯度中选取偏差小于预设阈值的所述梯度作为可信任梯度。7.根据权利要求5所述的系统，其中，为了从所述多个梯度中选取可信任梯度，所述更新模块还用于：确定所述多个偏差结果的偏差由小到大的排名，从所述多个梯度中选取排名小于预设阈值的所述梯度作为可信任梯度。2CN113689006A权利要求书2/2页8.根据权利要求5所述的系统，其中，为了根据所述第二平均值更新所述联合训练模型的参数，所述更新模块还用于：将所述第二平均值作为所述联合训练模型的参数对应的梯度，使用所述基于梯度的优化算法更新所述联合训练模型的参数。9.一种模型联合训练的装置，其中，所述装置包括至少一个处理器以及至少一个存储器；所述至少一个存储器用于存储计算机指令；所述至少一个处理器用于执行所述计算机指令中的至少部分指令以实现如权利要求1～4中任一项所述的方法。10.一种计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机执行如权利要求1～4中任一项所述的方法。3CN113689006A说明书1/9页一种模型联合训练的方法和系统分案说明[0001]本申请是针对2020年04月23日提交的中国申请202010326265.6提出的分案。技术领域[0002]本说明书涉及机器学习领域，特别涉及一种模型联合训练的方法和系统。背景技术[0003]多方联合建模，即多个参与方在保护各自私有数据的