模型参数的调整方法、装置、设备及可读存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114298330A(43)申请公布日2022.04.08(21)申请号202110902863.8(22)申请日2021.08.06(71)申请人腾讯科技（深圳）有限公司地址518057广东省深圳市南山区高新区科技中一路腾讯大厦35层(72)发明人李悦翔(74)专利代理机构北京三高永信知识产权代理有限责任公司11138代理人张所明(51)Int.Cl.G06N20/20(2019.01)G06K9/62(2022.01)权利要求书2页说明书13页附图5页(54)发明名称模型参数的调整方法、装置、设备及可读存储介质(57)摘要本申请公开了一种模型参数的调整方法、装置、设备及存储介质，涉及人工智能领域。该方法包括：从n个模型训练节点获取n个模型参数，基于n个模型参数之间的相似度关系，确定n个模型参数分别对应的权重因子，基于权重因子对n个模型参数进行加权整合，得到更新模型参数；将更新模型参数反馈至n个模型训练节点，进行循环迭代训练，直至得到目标模型，目标模型为用于进行数据预测的模型。在保证保护数据隐私的前提下，基于动态权重对模型参数进行调整，针对模型训练节点训练得到的模型参数之间的差异性进行有针对性的整合，提升目标模型的泛化性能。CN114298330ACN114298330A权利要求书1/2页1.一种模型参数的调整方法，其特征在于，所述方法包括：从n个模型训练节点获取n个模型参数，其中，第i个模型参数为第i个模型训练节点通过内部样本数据训练得到的模型参数，存在至少两个模型训练节点的内部样本数据不同，n为正整数，0＜i≤n；基于所述n个模型参数之间的相似度关系，确定所述n个模型参数分别对应的权重因子，其中，第i个相似度关系与第i个模型参数对应的权重因子呈负相关关系，所述第i个相似度关系为第i个模型参数与其他模型参数之间的相似度关系；基于所述权重因子对所述n个模型参数进行加权整合，得到更新模型参数；将所述更新模型参数反馈至所述n个模型训练节点，进行循环迭代训练，直至得到目标模型，所述目标模型为用于进行数据预测的模型。2.根据权利要求1所述的方法，其特征在于，基于所述权重因子对所述n个模型参数进行加权整合，得到更新模型参数，包括：将第i个模型参数对应的权重因子与第i个模型参数之积确定为第i个更新参数；将n个更新参数之和，确定为所述更新模型参数。3.根据权利要求1所述的方法，其特征在于，所述基于所述n个模型参数之间的相似度关系，确定所述n个模型参数分别对应的权重因子，包括：将第i个模型参数与其他模型参数之间的平均相似度，作为所述第i个模型参数对应的相似度取值；确定n个模型参数分别对应的相似度取值，得到相似度总和；基于第i个模型参数对应的相似度取值与所述相似度总和之比，确定第i个模型参数对应的权重因子。4.根据权利要求3所述的方法，其特征在于，所述将第i个模型参数与其他模型参数之间的平均相似度，作为所述第i个模型参数对应的相似度取值之前，还包括：对n个模型参数中任意两个模型参数进行相似度分析，得到相似度矩阵，所述相似度矩阵中的元素用于指示行列对应的模型参数之间的相似度；从所述相似度矩阵中获取第i行的元素平均值，作为所述第i个模型参数对应的相似度取值；或者，从所述相似度矩阵中获取第i列的元素平均值，作为所述第i个模型参数对应的相似度取值。5.根据权利要求1至4任一所述的方法，其特征在于，所述更新模型参数为第k次循环迭代得到的模型参数；所述将所述更新模型参数反馈至所述n个模型训练节点，进行循环迭代训练，包括：将所述更新模型参数反馈至所述n个模型训练节点后，从n个模型训练节点获取n个迭代模型参数，所述n个迭代模型参数为所述n个模型训练节点在第k+1次循环迭代中通过所述内部样本数据训练得到的模型参数；基于n个迭代模型参数对应的权重因子，确定第k+1次循环迭代得到的更新模型参数，直至n个模型训练节点的模型参数收敛。6.根据权利要求5所述的方法，其特征在于，所述基于n个迭代模型参数对应的权重因子，确定第k+1次循环迭代得到的更新模型参数，包括：响应于所述n个迭代模型参数符合循环迭代条件时，基于n个迭代模型参数对应的权重2CN114298330A权利要求书2/2页因子，确定第k+1次循环迭代得到的更新模型参数。7.根据权利要求1至4任一所述的方法，其特征在于，所述将所述更新模型参数反馈至所述n个模型训练节点，进行循环迭代训练，直至得到目标模型之后，还包括：通过所述目标模型对目标数据进行分类，所述目标模型为数据分类模型；或者，通过所述目标模型对目标数据进行内容识别，所述目标模型为数据识别模型。8.一种模型参数的调整装置，其特征在于，所述装置包括：获取模块，用于从n个模型训练节点