基于联邦学习的模型训练方法、装置、设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113642707A(43)申请公布日2021.11.12(21)申请号202110924484.9G06F17/16(2006.01)(22)申请日2021.08.12G06F16/36(2019.01)(71)申请人深圳平安智汇企业信息管理有限公司地址518000广东省深圳市福田区沙头街道天安社区车公庙泰然七路1号博今商务广场B座二十一层整层(72)发明人张玉君张卫军钱勇黎奉薪(74)专利代理机构深圳市明日今典知识产权代理事务所(普通合伙)44343代理人王杰辉曹勇(51)Int.Cl.G06N3/04(2006.01)G06N20/20(2019.01)G06K9/62(2006.01)权利要求书3页说明书16页附图3页(54)发明名称基于联邦学习的模型训练方法、装置、设备及存储介质(57)摘要本申请涉及人工智能技术领域，揭示了一种基于联邦学习的模型训练方法、装置、设备及存储介质，其中方法包括：获取第m轮联邦学习的第i次迭代的各个目标客户端发送的单模型训练样本数量和单模型参数矩阵；将目标客户端的数量作为参与训练机构数量；根据所有单模型训练样本数量得到训练样本总数；根据参与训练机构数量、所有单模型参数矩阵、所有单模型训练样本数量和第i‑1次迭代的模型参数汇总矩阵计算第i次迭代的模型参数汇总矩阵；根据参与训练机构数量确定待更新的学习率；将训练样本总数、待更新的学习率和第i次迭代的模型参数汇总矩阵发送给各个目标客户端。提高了模型训练的效果，适用于数据受保密限制的应用场景。CN113642707ACN113642707A权利要求书1/3页1.一种基于联邦学习的模型训练方法，其特征在于，所述方法包括：获取第m轮联邦学习的第i次迭代的各个目标客户端发送的单模型训练样本数量和单模型参数矩阵，其中，所述目标客户端用于采用本地训练样本集对本地网络模型进行模型训练，根据训练结束的所述本地网络模型提取所述单模型训练样本数量和所述单模型参数矩阵；获取所述目标客户端的数量作为参与训练机构数量；将所有所述单模型训练样本数量进行相加，得到训练样本总数；获取第m轮联邦学习的第i‑1次迭代的模型参数汇总矩阵，根据所述参与训练机构数量、所有所述单模型参数矩阵、所有所述单模型训练样本数量和第i‑1次迭代的所述模型参数汇总矩阵计算第i次迭代的所述模型参数汇总矩阵；根据所述参与训练机构数量进行学习率计算，得到待更新的学习率；将所述训练样本总数、所述待更新的学习率和第i次迭代的所述模型参数汇总矩阵发送给各个所述目标客户端，其中，所述目标客户端还用于根据所述训练样本总数、所述待更新的学习率和第i次迭代的所述模型参数汇总矩阵对所述本地网络模型进行参数更新；将i加1，重复执行所述获取第m轮联邦学习的第i次迭代的各个目标客户端发送的单模型训练样本数量和单模型参数矩阵的步骤，直至满足联邦学习结束条件。2.根据权利要求1所述的基于联邦学习的模型训练方法，其特征在于，所述第i次迭代的所述模型参数汇总矩阵的计算公式为W_all[i]：其中，W_all[i‑1]是第m轮联邦学习的第i‑1次迭代的模型参数汇总矩阵，n是第m轮联邦学习的第i‑1次迭代的所述参与训练机构数量，w[a][i]是第m轮联邦学习的第i次迭代中的第a个所述目标客户端发送的所述单模型参数矩阵，sp_n[a]是第m轮联邦学习的第i次迭代中的第a个所述目标客户端发送的所述单模型训练样本数量。3.根据权利要求1所述的基于联邦学习的模型训练方法，其特征在于，所述待更新的学习率的计算公式b[i]为：b[i]＝1/(i*n2)其中，n是所述参与训练机构数量，i是第m轮联邦学习的第i次迭代中的i。4.根据权利要求1所述的基于联邦学习的模型训练方法，其特征在于，所述目标客户端还用于根据所述训练样本总数、所述待更新的学习率和第i次迭代的所述模型参数汇总矩阵对所述本地网络模型进行参数更新的步骤，包括：通过待更新的客户端，根据所述待更新的客户端的所述最后一次更新梯度数据及所述单模型参数矩阵、所述训练样本总数、所述待更新的学习率和第i次迭代的所述模型参数汇总矩阵进行模型参数矩阵计算，得到待更新的模型参数矩阵，其中，所述待更新的客户端是任一个所述目标客户端；根据所述待更新的模型参数矩阵更新所述待更新的客户端对应的所述本地网络模型的参数；其中，所述待更新的模型参数矩阵的计算公式wg为：2CN113642707A权利要求书2/3页w[r][i]是第m轮联邦学习的第i次迭代的所述待更新的客户端r的所述单模型参数矩阵，W_all[i]是第m轮联邦学习的第i次迭代的所述模型参数汇总矩阵，sp_all[i]是第m轮联邦学习的第i次迭代的所述训练样本总数，b[i]是第m轮联邦学