联邦学习方法、联邦学习装置及联邦学习系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115169451A(43)申请公布日2022.10.11(21)申请号202210758009.3(22)申请日2022.06.29(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人李龙飞周俊(74)专利代理机构北京永新同创知识产权代理有限公司11376专利代理师林锦辉刘景峰(51)Int.Cl.G06K9/62(2022.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书3页说明书12页附图4页(54)发明名称联邦学习方法、联邦学习装置及联邦学习系统(57)摘要本说明书实施例提供用于经由至少两个第一成员设备和第二成员设备训练业务模型的联邦学习方法，联邦学习装置和联邦学习系统。各个第一成员设备具有本地数据，第二成员设备维护待训练的业务模型。在进行联邦学习时，在各个第一成员设备从第二成员设备接收当前业务模型后，使用本地数据训练所接收的当前业务模型，基于本地训练出的业务模型中的模型参数的参数更新量，确定各个模型参数的参数稳定性，并且将被确定为参数不稳定的模型参数的本地更新值提供给第二成员设备。第二成员设备根据从各个第一成员设备接收的模型参数的本地更新值更新业务模型。CN115169451ACN115169451A权利要求书1/3页1.一种用于经由至少两个第一成员设备和第二成员设备训练业务模型的方法，各个第一成员设备具有本地数据，第二成员设备维护待训练的业务模型，所述方法应用于第一成员设备，所述方法包括：从第二成员设备接收当前业务模型；使用本地数据训练所接收的当前业务模型；基于本地训练出的业务模型中的模型参数的参数更新量，确定各个模型参数的参数稳定性；以及将被确定为参数不稳定的模型参数的本地更新值提供给所述第二成员设备，以供所述第二成员设备用于更新所述业务模型。2.如权利要求1所述的方法，其中，基于本地训练出的业务模型中的模型参数的参数更新量，确定各个模型参数的参数稳定性包括：基于本地训练出的业务模型中的模型参数的参数更新量，确定各个模型参数的参数稳定性度量值；以及根据所确定出的各个模型参数的参数稳定性度量值，确定各个模型参数的参数稳定性。3.如权利要求2所述的方法，其中，根据所确定出的各个模型参数的参数稳定性度量值，确定各个模型参数的参数稳定性包括：根据所确定出的各个模型参数的参数稳定性度量值以及第一预定阈值，确定各个模型参数的参数稳定性。4.如权利要求1所述的方法，其中，所述业务模型的每个模型参数分别具有参数冻结期，基于本地训练出的业务模型中的模型参数的参数更新量，确定各个模型参数的参数稳定性包括：针对参数冻结期期满的各个模型参数，基于本地训练出的业务模型中的该模型参数的参数更新量，确定该模型参数的参数稳定性。5.如权利要求2所述的方法，其中，所述业务模型的每个模型参数分别具有参数冻结期，基于本地训练出的业务模型中的模型参数的参数更新量，确定各个模型参数的参数稳定性度量值包括：针对参数冻结期期满的各个模型参数，基于本地训练出的业务模型中的该模型参数的参数更新量，确定该模型参数的参数稳定性度量值。6.如权利要求5所述的方法，其中，所述方法还包括：针对参数冻结期期满的各个模型参数，根据所确定出的各个模型参数的参数稳定性度量值以及第二预定阈值，调整各个模型参数的参数冻结期。7.如权利要求6所述的方法，其中，根据所确定出的各个模型参数的参数稳定性度量值以及第二预定阈值，调整各个模型参数的参数冻结期包括：根据所确定出的各个模型参数的参数稳定性度量值与所述第二预定阈值之间的比例关系，调整各个模型参数的参数冻结期。8.如权利要求3所述的方法，其中，所述业务模型具有分层结构，以及所述业务模型的模型参数被分割为多段模型参数，所述第一预定阈值包括至少两个第一预定阈值，以及每段模型参数或者多段模型参数2CN115169451A权利要求书2/3页对应一个第一预定阈值，根据所确定出的各个模型参数的参数稳定性度量值以及第一预定阈值，确定各个模型参数的参数稳定性包括：根据所确定出的各个模型参数的参数稳定性度量值以及对应的第一预定阈值，确定各个模型参数的参数稳定性。9.如权利要求8所述的方法，其中，基于本地训练出的业务模型中的模型参数的参数更新量，确定各个模型参数的参数稳定性度量值包括：针对业务模型中的每段模型参数，根据本地训练出的业务模型中的该段模型参数中各个模型参数的参数更新量，确定该段模型参数的参数稳定性度量值，所确定出的参数稳定性度量值作为该段模型参数中的各个模型参数的参数稳定性度量值。10.一种用于经由至少两个第一成员设备和第二成员设备训练业务模型的方法，各个第一成员设备具有本