基于多方数据协同的预测模型训练、数据预测方法和装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115186937A(43)申请公布日2022.10.14(21)申请号202211098758.4(22)申请日2022.09.09(71)申请人闪捷信息科技有限公司地址310000浙江省杭州市余杭区五常街道文一西路998号5幢608室(72)发明人张黎刘维炜陈广辉(74)专利代理机构北京超凡宏宇专利代理事务所(特殊普通合伙)11463专利代理师刘广(51)Int.Cl.G06Q10/04(2012.01)G06Q50/06(2012.01)H02J3/00(2006.01)G06K9/62(2022.01)权利要求书3页说明书13页附图3页(54)发明名称基于多方数据协同的预测模型训练、数据预测方法和装置(57)摘要本发明提供一种基于多方数据协同的预测模型训练、数据预测方法和装置，通过在每轮全局训练过程中，各电力部门系统在本地对用电量预测模型进行训练得到模型参数训练值的同时，还确定用电量预测模型的候选剪枝参数，以供数据中心对各电力部门系统传递的模型参数训练值进行聚合，得到当前参数值，并基于各电力部门系统传递的候选剪枝参数确定实际剪枝参数，使各电力部门系统在进行本地训练时可以不必考虑上述实际剪枝参数，降低了需要进行参数更新的参数量，降低了训练难度和训练成本；同时，当各电力部门系统生成的新一轮的模型参数训练值仅包含除当前轮对应的实际剪枝参数以外的其他参数的参数值，降低了数据中心与各电力部门系统之间的通信开销。CN115186937ACN115186937A权利要求书1/3页1.一种基于多方数据协同的预测模型训练方法，其特征在于，包括：各电力部门系统拉取协同方数据后，在本地将本部门电力数据与协同方数据进行数据对齐，并构建训练数据；在当前轮全局训练时，各电力部门系统基于所述训练数据在本地对用电量预测模型进行训练，得到模型参数训练值，并确定所述用电量预测模型的候选剪枝参数；各电力部门系统将所述模型参数训练值和所述候选剪枝参数传送至数据中心；数据中心对各电力部门系统传递的模型参数训练值进行聚合，得到当前参数值，基于各电力部门系统传递的候选剪枝参数确定实际剪枝参数，并将所述当前参数值以及实际剪枝参数传递给各电力部门系统，开启下一轮全局训练；各电力部门系统在下一轮全局训练时，会将所述当前参数值作为所述用电量预测模型的初始参数值并将所述实际剪枝参数置0。2.根据权利要求1所述的基于多方数据协同的预测模型训练方法，其特征在于，所述训练数据包括测试集和训练集；其中，所述测试集中的每个训练样本中协同方数据所在位置被置为0；所述基于所述训练数据在本地对用电量预测模型进行训练，得到模型参数训练值，并确定所述用电量预测模型的候选剪枝参数，具体包括：基于所述训练集对所述用电量预测模型进行本地多轮迭代训练，得到所述用电量预测模型在当前轮全局训练的模型参数训练值；基于所述测试集对所述用电量预测模型进行本地多轮迭代训练，确定所述用电量预测模型中所有未剪枝参数在每一轮本地训练的参数值，并将每一轮本地训练的参数值的参数值变化幅度小于预设阈值的未剪枝参数作为当前轮全局训练的候选剪枝参数。3.根据权利要求2所述的基于多方数据协同的预测模型训练方法，其特征在于，所述基于各电力部门系统传递的候选剪枝参数确定实际剪枝参数，具体包括：获取各电力部门系统传递的候选剪枝参数对应的参数值变化幅度；将各电力部门系统传递的参数值变化幅度小于全局阈值的候选剪枝参数作为实际剪枝参数，和/或，将各电力部门系统传递的重复次数超过预设次数的候选剪枝参数作为实际剪枝参数。4.根据权利要求2所述的基于多方数据协同的预测模型训练方法，其特征在于，在当前轮全局训练时，所述用电量预测模型的模型参数矩阵被分解为固定子矩阵和待优化子矩阵；所述固定子矩阵在各电力部门系统之间共享；各电力部门系统在本地训练得到的所述模型参数训练值为所述待优化子矩阵中各参数的参数值，确定得到的候选剪枝参数为所述待优化子矩阵中的参数。5.根据权利要求4所述的基于多方数据协同的预测模型训练方法，其特征在于，所述基于所述训练集对所述用电量预测模型进行本地多轮迭代训练，得到所述用电量预测模型在当前轮全局训练的模型参数训练值，具体包括：基于当前轮本地训练中所述待优化子矩阵的当前值与所述固定子矩阵，确定所述用电量预测模型的模型参数矩阵的当前值；基于所述模型参数矩阵的当前值和所述训练集中的当前轮训练样本进行预测，得到当前轮训练样本的预测结果，并基于当前轮训练样本的预测结果与当前轮训练样本的标签值之间的差异对所述待优化子矩阵进行参数值更新，得到2CN115186937A权利要求书2/3页更新后的待优化子矩阵用于进行下一轮本地训练；待所有轮本地训练结束后，将最后更新得到的待优化子矩阵中各