一种基于序列到序列模型的制冷系统负荷预测方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115982567A(43)申请公布日2023.04.18(21)申请号202211626813.2G06N3/04(2023.01)(22)申请日2022.12.16G06N3/08(2023.01)(71)申请人上海碳索能源服务股份有限公司地址201108上海市闵行区金都路4299号6幢2楼D91室申请人宁德军(72)发明人李佳佳宁德军陈逸君王天逸郭千朋(74)专利代理机构上海恒慧知识产权代理事务所(特殊普通合伙)31317专利代理师张宁展(51)Int.Cl.G06F18/213(2023.01)G06F18/25(2023.01)G06F18/214(2023.01)权利要求书2页说明书9页附图2页(54)发明名称一种基于序列到序列模型的制冷系统负荷预测方法(57)摘要本发明公开一种基于序列到序列模型的制冷系统负荷预测方法，将历史数据整理为带有时间戳属性的多维时间序列MTS，以此训练序列到序列的预测模型，然后以给定窗口的时序数据作为输入，利用训练好的预测模型预测出负荷走势，其中，预测模型包括编码器和解码器，编码器采用多层结构，稀疏自注意力模块和蒸馏模块构成的多层结构，其以时序数据嵌入编码形成的向量作为初始层结构的输入，然后前一层结构的输出作为后一层结构的输入，直至输出最终特征图，每层结构的输入均分为两路，第一路依次经过稀疏自注意力模块、蒸馏模块输出特征图Ⅰ，第二路经过下采样输出特征图Ⅱ，然后特征图Ⅰ和特征图Ⅱ经过残差连接模块进行特征融合，输出当前层特征图。CN115982567ACN115982567A权利要求书1/2页1.一种基于序列到序列模型的制冷系统负荷预测方法，其特征在于：将大量的历史数据整理为带有时间戳属性的多维时间序列MTS，以此训练序列到序列的预测模型，然后以给定窗口的时序数据作为输入，利用训练好的预测模型预测出接下来一段时间内的负荷走势，其中，所述预测模型包括编码器和解码器，所述编码器采用多层结构，稀疏自注意力模块和蒸馏模块构成的多层结构，其以时序数据嵌入编码形成的向量作为初始层结构的输入，然后前一层结构的输出作为后一层结构的输入，直至输出最终特征图，每层结构的输入均分为两路，第一路依次经过稀疏自注意力模块、蒸馏模块输出特征图Ⅰ，第二路经过下采样输出特征图Ⅱ，然后所述特征图Ⅰ和特征图Ⅱ经过残差连接模块进行特征融合，输出当前层特征图；所述解码器将要预测的目标元素先填充为零，再进行嵌入编码生成的向量输入掩码稀疏自注意力模块，之后生成的特征图作为查询向量与编码器输出的最终特征图依次输入全量自注意力模块、全连接层，最后以生成式方式实时输出预测的目标元素。2.根据权利要求1所述的基于序列到序列模型的制冷系统负荷预测方法，其特征在于：所述稀疏自注意力模块使用全连接层将查询矩阵Q和键矩阵K融合后的特征投射到一个新的概率空间，再利用公式I(Q)＝FC(Q+K)计算查询的重要性得分，通过设置n＝clnLQ，LQ表示矩阵Q行数，选择分数最高的前n个查询向量作为注意力分数用于后续的计算，其中，FC(·)表示全连接操作，FC层的输入通道数为特征尺寸，输出通道数为1，I(Q)的形状为LQ×1。3.根据权利要求2所述的基于序列到序列模型的制冷系统负荷预测方法，其特征在于：所述特征图Ⅰ从第j个稀疏自注意力模块到j+1个稀疏自注意力模块的"提炼"过程定义为：其中，t表示当前时间段，[·]AB表示注意力块，γ表示一个可学习的参数，DS(·)表示下采样操作，Conv1d(·)表示用ELU(·)激活函数在时间维度上进行一维卷积滤波。4.根据权利要求1所述的基于序列到序列模型的制冷系统负荷预测方法，其特征在于：以矩阵形式表示所述多维时间序列MTS，先进行z‑score标准化处理，然后按行进行批次划分，再利用如下公式进行嵌入编码形成向量作为预测模型的输入，其中，表示多维时间序列嵌入编码后的结果，i∈{1,…,Lx}，t与Lx分表表示当前时间段与数据的行数。设其编码后的特征维度为Dmodel；表示输入的特征维度为dmodel的多维时间序列被一维卷积投影后、特征维度为Dmodel的向量；表示时间编码；表示位置编码：2CN115982567A权利要求书2/2页其中然后再使用一维卷积将其投影到Dmodel维度，pos表示当前位置。表示用来调节位置编码和时间编码权重的参数，计算方式表示为：其中，Relu()为激活函数，Conv1d()为一维卷积，其输入通道数为Dmodel，输出通道数为1。5.根据权利要求4所述的基于序列到序列模型的制冷系统负荷预测方法，其特征在于：利用如下方程式进行z‑score标准化处理，其中，d(i,j)是多维时间序列MTS中第j列第i行的数值，D(,)表示第j列的所有