一种基于深度学习的非侵入式负荷分解模型.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115841268A(43)申请公布日2023.03.24(21)申请号202211268362.XG06N3/048(2023.01)(22)申请日2022.10.17G06N3/08(2023.01)(71)申请人东南大学地址210096江苏省南京市玄武区新街口街道四牌楼2号(72)发明人徐青山徐扬(74)专利代理机构北京同辉知识产权代理事务所(普通合伙)11357专利代理师王艳秋(51)Int.Cl.G06Q10/0639(2023.01)G06Q50/06(2012.01)G06F18/241(2023.01)G06F18/2415(2023.01)G06N3/047(2023.01)权利要求书2页说明书9页附图1页(54)发明名称一种基于深度学习的非侵入式负荷分解模型(57)摘要本发明提供一种基于深度学习的非侵入式负荷分解模型，涉及电力系统智能电网领域。该基于深度学习的非侵入式负荷分解模型，包括输入层、中间层和输出层；所述输入层输入滑动窗口所截取的序列样本，所述输出层输出等长的且时间戳相对应的目标设备预测序列，通过输入及输出构建回归模型；所述中间层由神经网络所构成，对输入数据进行线性空间映射，并通过循环迭代更新网络参数，提取序列局部特征的同时，实现了特征序列尺寸和个数的还原；主要区别在于中间层引入了注意力机制，由多个Trans层串联而成，完全避免了CNN和RNN的使用，大大提高了模型对长序列数据的特征提取能力。两种方式的相互补充有助于模型对时序数据进行学习。CN115841268ACN115841268A权利要求书1/2页1.一种基于深度学习的非侵入式负荷分解模型，其特征在于，所述模型包括输入层、中间层和输出层；所述输入层输入滑动窗口所截取的序列样本，所述输出层输出等长的且时间戳相对应的目标设备预测序列，通过输入及输出构建回归模型；所述中间层由神经网络所构成，对输入数据进行线性空间映射，并通过循环迭代更新网络参数。2.根据权利要求1所述的一种基于深度学习的非侵入式负荷分解模型，其特征在于：所述输入层为嵌入模块，其具体实现方法为：获取总负荷序列数据，总负荷序列数据首先进行特征嵌入操作，通过卷积核数量为256的卷积层，扩展一维输入序列的隐藏维度，提取数据特征，再通过一维幂平均池化层，保留特征的同时将长度减少一半，防止过拟合；与可训练的位置嵌入矩阵相加，可训练的位置嵌入矩阵表示序列数据的顺序信息，操作过程如下式所示：Embedding(X)＝Lppooling(Conv(X))+Epos式中，Epos表示位置信息矩阵，Lppooling为幂平均池化函数，是基于平均池化和最大池化的结合，Lppooling利用一个学习参数k来确定这两种方法相对重要性，其定义为：式中，R表示待池化区域中元素集合。3.根据权利要求2所述的一种基于深度学习的非侵入式负荷分解模型，其特征在于：所述中间层由多个具有相同结构的模块串联而成，定义为Trans层；所述Trans层包括注意力模块、归一化模块LayerNorm和逐位前馈网络模块；所述输入层输出的嵌入矩阵首先进入Trans层的注意力模块，输出与输入通过残差连接相加后执行归一化：LayerNorm(X+Dropout(X))将归一化结果再输入逐位前馈网络模块，逐位前馈网络模块模块连接方式如下式：PFFN(X)＝GELU(0,XW1+b1)W2+b2式中，GELU为激活函数，定义为：将PFFN层输出与PFFN层输入再次经过残差连接相加并执行层归一化。4.根据权利要求3所述的一种基于深度学习的非侵入式负荷分解模型，其特征在于：所述输出层接收最后一个Trans层的输出矩阵，首先使用转置卷积将输出扩展到其原始长度。随后，通过两层激活函数为tanh的多层感知机将把输入隐藏大小恢复到所需的输出大小。输出值(理想情况下介于区间[0,1]之间)乘以最大设备功率，即可得单个电器设备的功率输出预测，同时通过匹配相应的阈值来获取设备状态：Out(X)＝Tanh(Deconv(X)W1+b1)W2+b2。5.根据权利要求4所述的一种基于深度学习的非侵入式负荷分解模型，其特征在于：所述Trans层中的注意力模块包括意力机制，所述注意力机制通过引入自主性提示，实现对人类注意力的模仿，所述注意力机制包含自主性提示query，非自主性提示key和感官输入value三个变量，为矩阵形式，即，具体为：Q,K,V＝Wq,k,vI2CN115841268A权利要求书2/2页式中，Q，K和V分别为query、key和value；Wq,k,v为随机初始化矩阵；I为输入矩阵；是缩放因子，起到防止梯度弥散的作用；softmax为激活函数，含义如下式所示：式中，zi为第i个节点的输出值