一种模型联合训练的方法和系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111523686A(43)申请公布日2020.08.11(21)申请号202010326265.6(22)申请日2020.04.23(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人陈超超曹绍升王力周俊(74)专利代理机构成都七星天知识产权代理有限公司51253代理人杨永梅(51)Int.Cl.G06N20/20(2019.01)权利要求书2页说明书9页附图2页(54)发明名称一种模型联合训练的方法和系统(57)摘要本说明书实施例公开了一种模型联合训练的方法及系统。所述方法包括：多个联合训练的参与终端分别基于所述终端自身持有的私有数据联合进行模型训练，多个联合训练的参与终端分别使用基于梯度的优化算法生成各自的梯度；所述多个参与终端分别将所述各自的梯度发送给服务器；所述服务器从多个所述梯度中选取可信任梯度，并且根据选取的所述可信任梯度更新所述联合训练模型的参数；所述样本数据为文本数据、语音数据或者图形数据。CN111523686ACN111523686A权利要求书1/2页1.一种模型联合训练的方法，所述方法包括：多个联合训练的参与终端分别基于所述终端自身持有的样本数据进行模型联合训练，多个联合训练的参与终端分别使用基于梯度的优化算法生成各自的梯度；所述多个参与终端分别将所述各自的梯度发送给服务器；所述服务器从多个所述梯度中选取可信任梯度，并且根据选取的所述可信任梯度更新所述联合训练模型的参数；所述样本数据为文本数据、语音数据或者图形数据。2.根据权利要求1所述的方法，其中，所述服务器从多个所述梯度中选取可信任梯度包括：计算多个所述梯度的第一平均值；分别比较多个所述梯度与所述第一平均值，获取多个比较结果；将多个所述比较结果排序得到所述可信任梯度。3.根据权利要求1所述的方法，其中，所述服务器从多个所述梯度中选取可信任梯度包括：计算多个所述梯度的第一平均值；分别比较多个所述梯度与所述第一平均值，获取多个比较结果；分别比较多个所述比较结果与预设阈值得到所述可信任梯度。4.根据权利要求2所述的方法，其中，所述根据选取的所述可信任梯度更新所述联合训练模型的参数包括：计算多个所述可信任梯度的第二平均值；将所述第二平均值作为所述联合训练模型的参数对应的梯度，使用所述基于梯度的优化算法更新所述联合训练模型的参数。5.一种模型联合训练的系统，所述系统包括：生成模块，用于使得多个联合训练的参与终端分别基于所述终端自身持有的样本数据进行模型联合训练，多个联合训练的参与终端分别使用基于梯度的优化算法生成各自的梯度；发送模块，用于使得所述多个参与终端分别将所述各自的梯度发送给服务器；更新模块，用于使得所述服务器从多个所述梯度中选取可信任梯度，并且根据选取的所述可信任梯度更新所述联合训练模型的参数；所述样本数据为文本数据、语音数据或者图形数据。6.根据权利要求5所述的系统，其中，所述服务器从多个所述梯度中选取可信任梯度包括：计算多个所述梯度的第一平均值；分别比较多个所述梯度与所述第一平均值，获取多个比较结果；将多个所述比较结果排序得到所述可信任梯度。7.根据权利要求5所述的系统，其中，所述服务器从多个所述梯度中选取可信任梯度包括：计算多个所述梯度的第一平均值；分别比较多个所述梯度与所述第一平均值，获取多个比较结果；2CN111523686A权利要求书2/2页分别比较多个所述比较结果与预设阈值得到所述可信任梯度。8.根据权利要求6所述的系统，其中，所述根据选取的所述可信任梯度更新所述联合训练模型的参数包括：计算多个所述可信任梯度的第二平均值；将所述第二平均值作为所述联合训练模型的参数对应的梯度，使用所述基于梯度的优化算法更新所述联合训练模型的参数。9.一种模型联合训练的装置，其中，所述装置包括至少一个处理器以及至少一个存储器；所述至少一个存储器用于存储计算机指令；所述至少一个处理器用于执行所述计算机指令中的至少部分指令以实现如权利要求1～4中任一项所述的方法。10.一种计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机执行如权利要求1～4中任一项所述的方法。3CN111523686A说明书1/9页一种模型联合训练的方法和系统技术领域[0001]本说明书涉及机器学习领域，特别涉及一种模型联合训练的方法和系统。背景技术[0002]多方联合建模，即多个参与方在保护各自私有数据的基础上，共同建立一个机器学习模型。但在这个场景下，多个参与方中的一方或者多方可能会为了自己的利益，对训练数据下毒，使得最终训练得到的模型有偏，例如：模型会对于某些样本做出错误的判断，从而下毒的参与