基于联邦学习的模型训练方法、装置和电子设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113052323A(43)申请公布日2021.06.29(21)申请号202110306735.7(22)申请日2021.03.23(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人郑龙飞陈超超王莹桂王力(74)专利代理机构北京三友知识产权代理有限公司11127代理人徐焕周达(51)Int.Cl.G06N20/00(2019.01)G06N3/12(2006.01)G06N3/08(2006.01)G06N5/00(2006.01)G06N7/00(2006.01)权利要求书2页说明书11页附图3页(54)发明名称基于联邦学习的模型训练方法、装置和电子设备(57)摘要本说明书实施例公开了一种基于联邦学习的模型训练方法、装置和电子设备。所述方法包括：利用以下步骤进行迭代处理，直至满足迭代结束条件：接收多个参与方上传的第一模型参数信息及其对应的模型性能；以接收的第一模型参数信息为初始种群中的个体，以接收的模型性能为初始种群中个体的适应度，根据适应度，对所述初始种群中的个体进行遗传操作，得到优化种群；其中，所述优化种群中的个体用于表示第二模型参数信息；向多个参与方发送第二模型参数信息。本说明书实施例可以提高模型训练效率。CN113052323ACN113052323A权利要求书1/2页1.一种基于联邦学习的模型训练方法，应用于服务器，所述方法包括：利用以下步骤进行迭代处理，直至满足迭代结束条件：接收多个参与方上传的第一模型参数信息及其对应的模型性能；以接收的第一模型参数信息为初始种群中的个体，以接收的模型性能为初始种群中个体的适应度，根据适应度，对初始种群中的个体进行遗传操作，得到优化种群；其中，所述优化种群中的个体用于表示第二模型参数信息；向多个参与方发送第二模型参数信息。2.如权利要求1所述的方法，所述第一模型参数信息包括多个子信息，所述初始种群中的个体包含多个基因，每个基因用于表示一个子信息；所述对初始种群中的个体进行遗传操作，包括：从初始种群中选择适应度最优的多个个体作为第一个体；对第一个体中的基因进行交叉操作，得到新的个体作为第二个体；对第二个体中的基因进行变异操作，得到新的个体优化种群中的个体。3.如权利要求2所述的方法，所述对第一个体中的基因进行交叉操作，包括：将多个第一个体划分到多个组中，每组中包括多个第一个体；将每组中的多个第一个体聚合为一个第三个体；对第三个体中的基因进行交叉操作，得到新的个体作为第二个体。4.如权利要求1所述的方法，所述迭代结束条件包括：迭代次数满足第一预设条件。5.如权利要求1所述的方法，所述迭代结束条件包括：模型性能满足第二预设条件；所述对初始种群中的个体进行遗传操作，包括：根据接收的模型性能，确定参考模型性能；在参考模型性能不满足第二预设条件时，以接收的第一模型参数信息为初始种群中的个体，以接收的模型性能为初始种群中个体的适应度，根据适应度，对初始种群中的个体进行遗传操作，得到优化种群；其中，所述优化种群中的个体用于表示第二模型参数信息。6.如权利要求5所述的方法，所述参考模型性能包括平均模型性能。7.如权利要求1所述的方法，在进行迭代处理之前，所述方法还包括：获取机器学习模型的超参数；向多个参与方发送超参数。8.如权利要求1所述的方法，所述第一模型参数信息包括第一模型参数的明文或者密文；所述第二模型参数信息包括第二模型参数的明文或者密文。9.一种基于联邦学习的模型训练方法，应用于参与方，所述方法包括：利用以下步骤进行迭代处理，直至满足迭代结束条件：接收服务器发送的多个第二模型参数信息；确定第二模型参数信息对应的模型性能；选择模型性能最优的第二模型参数信息作为第一模型参数信息；向服务器上传选择的第一模型参数信息及其对应的模型性能；在迭代结束以后，根据选择的第一模型参数信息确定机器学习模型。10.如权利要求9所述的方法，所述确定第二模型参数信息对应的模型性能，包括：利用测试数据，对第二模型参数信息对应的机器学习模型进行测试，得到模型性能。2CN113052323A权利要求书2/2页11.如权利要求9所述的方法，所述方法还包括：利用训练数据，对第二模型参数信息对应的机器学习模型进行训练，得到第一模型参数信息；所述确定第二模型参数信息对应的模型性能，包括：确定第一模型参数信息对应的模型性能；所述选择模型性能最优的第二模型参数信息作为第一模型参数信息，包括：选择模型性能最优的第一模型参数信息。12.如权利要求11所述的方法，所述确定第一模型参数信息对应的模型性能，包括：利用测试数据，对第一模型参数信息对应的机器学习模型进行测试，得到模型性能。1