联邦学习方法、联邦学习装置及联邦学习系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115034333A(43)申请公布日2022.09.09(21)申请号202210759145.4(22)申请日2022.06.29(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人李龙飞周俊(74)专利代理机构北京永新同创知识产权代理有限公司11376专利代理师林锦辉刘景峰(51)Int.Cl.G06K9/62(2022.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书3页说明书12页附图4页(54)发明名称联邦学习方法、联邦学习装置及联邦学习系统(57)摘要本说明书实施例提供用于经由至少两个第一成员设备和第二成员设备训练业务模型的联邦学习方法，联邦学习装置和联邦学习系统。各个第一成员设备具有本地数据，第二成员设备维护待训练的业务模型。在进行联邦学习时，在各个第一成员设备从第二成员设备接收当前业务模型后，各个第一成员设备使用本地数据训练所接收的当前业务模型，确定本地训练出的业务模型与所接收的业务模型之间的模型相关性，并且仅仅在模型相关性满足预定条件时才将本地训练出的模型更新量提供给第二成员设备。第二成员设备根据从各个第一成员设备接收的模型更新量更新业务模型。CN115034333ACN115034333A权利要求书1/3页1.一种用于经由至少两个第一成员设备和第二成员设备训练业务模型的方法，各个第一成员设备具有本地数据，第二成员设备维护待训练的业务模型，所述方法应用于第一成员设备，所述方法包括：从第二成员设备接收当前业务模型；使用本地数据训练所接收的当前业务模型；基于本地训练出的业务模型以及所接收的业务模型的模型参数值，确定本地训练出的业务模型与所接收的业务模型之间的模型相关度；以及响应于所述模型相关度不小于第一预定阈值，将所训练出的业务模型的模型更新量提供给所述第二成员设备，以供所述第二成员设备用于更新所述业务模型。2.如权利要求1所述的方法，其中，所述模型相关度包括下述中的至少一种：基于模型距离的第一模型相关度；和基于模型分歧度的第二模型相关度。3.如权利要求2所述的方法，其中，所述模型分歧度基于本地训练出的业务模型的各个模型参数的模型参数变化相对值确定。4.如权利要求3所述的方法，其中，所述模型分歧度根据下述公式确定：其中，d表示业务模型的模型参数维度，pj表示本地训练出的业务模型中的第j个模型参数的模型参数值，以及表示所接收的业务模型中的第j个模型参数的模型参数值。5.如权利要求2所述的方法，其中，所述第一模型相关度和所述第二模型相关度具有权重，在所述模型相关度包括所述第一模型相关度和所述第二模型相关度两者时，所述模型相关度基于各自的权重对所述第一模型相关度和所述第二模型相关度进行加权求和得到。6.如权利要求1所述的方法，还包括：响应于所述模型相关度不小于第一预定阈值，确定本地训练出的业务模型与所接收的业务模型之间的模型更新趋势相关度，所述模型更新趋势相关度用于指示本地训练出的业务模型的模型更新趋势是否符合业务模型的模型更新全局趋势，响应于所述模型相关度不小于第一预定阈值，将所训练出的业务模型的模型更新量提供给所述第二成员设备，以供所述第二成员设备用于更新所述业务模型包括：响应于所述模型相关度不小于第一预定阈值且所述模型更新趋势相关度不小于第二预定阈值，将所训练出的业务模型的模型更新量提供给所述第二成员设备，以供所述第二成员设备用于更新所述业务模型。7.如权利要求6所述的方法，其中，所述模型更新趋势相关度基于本地训练出的业务模型以及所接收的业务模型的各个模型参数的变化趋势确定。8.如权利要求7所述的方法，其中，所述模型更新趋势相关度根据下述公式确定：2CN115034333A权利要求书2/3页其中，d表示业务模型的模型参数维度，sign()为取值函数，Δpj表示本地训练出的业务模型中的第j个模型参数的模型参数变化值，表示所接收的业务模型中的第j个模型参数的模型参数变化值。9.一种用于经由至少两个第一成员设备和第二成员设备训练业务模型的方法，各个第一成员设备具有本地数据，第二成员设备维护待训练的业务模型，所述方法应用于所述第二成员设备，所述方法包括：将当前业务模型发送给各个第一成员设备；从在各自当前模型训练过程结束后被确定为具有不小于第一预定阈值的模型相关度的第一成员设备接收各自的本地模型更新量；以及根据所接收的本地模型更新量更新当前业务模型，所述更新后的业务模型作为下轮模型训练过程的当前业务模型。10.一种用于经由至少两个第一成员设备和第二成员设备训练业务模型的联邦学习装置，各个第一成员设备具有本地数据，第二成员设备维护待训练的业务模型，所述