用于能源大数据的跨时空双向数据缺失值填充方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114153829A(43)申请公布日2022.03.08(21)申请号202111441596.5G06F16/2458(2019.01)(22)申请日2021.11.30G06N3/04(2006.01)G06N3/08(2006.01)(71)申请人中国电力工程顾问集团华东电力设计院有限公司地址200063上海市普陀区武宁路409号(72)发明人朱祺杨鹏林伟滨刘高维王盛郑理顾悦黄媛玉季珉杰郑益尹璇黄世龙项心言(74)专利代理机构常州佰业腾飞专利代理事务所(普通合伙)32231代理人刘松(51)Int.Cl.G06F16/215(2019.01)G06F16/22(2019.01)权利要求书2页说明书8页附图2页(54)发明名称用于能源大数据的跨时空双向数据缺失值填充方法和装置(57)摘要本发明提供了一种用于能源大数据的跨时空双向数据缺失值填充方法和装置，该方法包括：在待训练目标数据表格中筛选出含缺失值的行作为第一数据表，并筛选出数据齐整的行作为第二数据表；根据第二数据表计算各特征的平均值和中值；采用0值、平均值和中值对第一数据表中各特征对应列的缺失值进行填充，将填充后的第三数据表、第四数据表和第五数据表插入第二数据表，形成第六数据表、第七数据表和第八数据表；将第六数据表、第七数据表和第八数据表按照50％比例以时间为作为键值拆分为第一训练数据集和第一交叉验证数据集、第二训练数据集和第二交叉验证数据集以及第三训练数据集和第三交叉验证数据集，并对目标神经网络进行训练，以获取预测模型。CN114153829ACN114153829A权利要求书1/2页1.一种用于能源大数据的跨时空双向数据缺失值填充方法，其特征在于，包括以下步骤：在待训练目标数据表格中筛选出含缺失值的行作为第一数据表，并筛选出数据齐整的行作为第二数据表；根据所述第二数据表计算各特征的平均值和中值；分别采用0值、所述平均值和所述中值对所述第一数据表中各特征对应列的缺失值进行填充，以形成第三数据表、第四数据表和第五数据表；分别将所述第三数据表、所述第四数据表和所述第五数据表插入所述第二数据表中，以形成第六数据表、第七数据表和第八数据表；将所述第六数据表按照50％比例以时间为作为键值拆分为第一训练数据集和第一交叉验证数据集，并将所述第七数据表按照50％比例以时间为作为键值拆分为第二训练数据集和第二交叉验证数据集，以及将所述第八数据表按照50％比例以时间为作为键值拆分为第三训练数据集和第三交叉验证数据集；根据所述第一训练数据集、所述第一交叉验证数据集、所述第二训练数据集、所述第二交叉验证数据集、所述第三训练数据集和所述第三交叉验证数据集对目标神经网络进行训练，以获取预测模型；采用所述预测模型对待填充数据集进行预测，以获取目标检测数据集。2.根据权利要求1所述的用于能源大数据的跨时空双向数据缺失值填充方法，其特征在于，所述根据所述第一训练数据集、所述第一交叉验证数据集、所述第二训练数据集、所述第二交叉验证数据集、所述第三训练数据集和所述第三交叉验证数据集对目标神经网络进行训练，以获取预测模型，包括：根据所述第一训练数据集对所述目标神经网络进行训练，以获取第一目标模型，并分别采用所述第二交叉验证数据集和所述第三交叉验证数据集进行验证，以获取所述第一目标模型的第一MAE指标和第二MAE指标；根据所述第二训练数据集对所述目标神经网络进行训练，以获取第二目标模型，并采用所述第一交叉验证数据集和所述第三交叉验证数据集进行验证，以获取所述第二目标模型的第三MAE指标和第四MAE指标；根据所述第三训练数据集对所述目标神经网络进行训练，以获取第三目标模型，并采用所述第一交叉验证数据集和所述第二交叉验证数据集进行验证，以获取所述第三目标模型的第五MAE指标和第六MAE指标；分别计算所述第一MAE指标和所述第二MAE指标的第一平均值、所述第三MAE指标和所述第四MAE指标的第二平均值以及所述第五MAE指标和所述第六MAE指标的第三平均值；比较所述第一平均值、所述第二平均值和所述第三平均值的大小，并将最大的平均值对应的目标模型作为所述预测模型。3.根据权利要求2所述的用于能源大数据的跨时空双向数据缺失值填充方法，其特征在于，所述采用所述预测模型对待填充数据集进行预测，以获取目标检测数据集，包括：将所述待填充数据集按照时间戳倒序排列，以生成倒序数据集；判断待填充数据在所述待填充数据集的位置；如果所述待填充数据在所述待填充数据集中的行数小于或等于第一预设值，则根据所2CN114153829A权利要求书2/2页述倒序数据集采用所述预测模型对所述待填充数据进行预测；如果所述待填充数据在所述待填充数据集中的行数大于或等于第二预设