基于模态交叉方法的时序数据缺失插补系统以及插补方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115827335A(43)申请公布日2023.03.21(21)申请号202310063746.6(22)申请日2023.02.06(71)申请人东南大学地址210096江苏省南京市玄武区四牌楼2号(72)发明人邱晨萌李雨芝康明与陈都鑫虞文武(74)专利代理机构南京众联专利代理有限公司32206专利代理师杜静静(51)Int.Cl.G06F11/14(2006.01)G06N3/084(2023.01)G06N3/0464(2023.01)权利要求书3页说明书12页附图4页(54)发明名称基于模态交叉方法的时序数据缺失插补系统以及插补方法(57)摘要本发明提供了一种基于模态交叉方法的时序数据缺失插补系统，由表征数据模块，多模态数据融合模块、可堆叠时空transformer模块（后续简称为时空模块），预测模块这四个模块构成。它适用于数据出现随机缺失以及非随机缺失，以及存在部分节点数据完全数据缺失的情况。本系统采用多模态数据融合技术通过表征学习将图像数据，声音数据转化为向量，将图数据信息转化为邻接矩阵张成一个向量，再与含缺失时序数据等融合为先验信息；对融合数据的处理模型通过建立每个时空块之间的密集连接构建端到端的编码通道，实现缺失数据准确恢复，其中时空块由一个空间块与一个时间块组成。本发明具有对信息流耦合时序数据恢复准确度高的优点。CN115827335ACN115827335A权利要求书1/3页1.基于模态交叉方法的时序数据缺失插补系统，其特征在于，所述系统由表征数据模块，多模态数据融合模块、可堆叠时空transformer模块，预测模块这四个模块构成；其中，表征数据模块：通过基于图神经网络的图表征学习首先计算得到节点表征，再对图上各个节点的表征做图池化，得到图的表征，图像数据转化为向量；同时利用神经网络学习一种能够从信号中捕获高层次语义内容，同时不受信号中低层次细节的干扰的表示，声音数据转化为向量，将得到的结果输入多模态数据融合模块；多模态数据融合模块：将图数据转化为邻接矩阵张成一个向量，再与表征数据模块的输出，含缺失时序数据合并为一个张量，得到多模态数据输入；同时将图数据作为第一个空间块的初始化输入，时序数据经过空间块后可提取空间特征，将多模态数据经过一个1×1卷积神经网络升维后输入可堆叠时空模块，升维能够增加数据特征提取维度以便对数据更全面的分析，可堆叠时空模块：该模块由多个时空模块、密集连接子模块和卷积神经网络子模块；每一个时空子模块包括时间块和空间块，时间块和空间块的结构框架相同，主体框架由transformer搭建，密集连接子模块并联多个时空模块，实现特征信息流密集交互，输出进入卷积神经网络降维得到完成数据插补的时序数据，并将其输入预测模块，预测模块：由一个卷积神经网络实现，输入的插补后的时序数据经过该卷积神经网络对10%原时间步长的时序数据进行预测。2.基于模态交叉方法的时序数据缺失插补方法，其特征在于，采用权利要求1所述的插补系统，所述方法包括以下步骤：步骤1：表征数据模块对声音数据，图像数据处理，图数据张成向量，与缺失数据融合为多模态数据输入1×1的卷积神经网络；步骤2：利用一个1×1的卷积神经网络对数据进行升维，提高对数据的特征提取能力，步骤3：利用DSTTN对预处理后的耦合信息流时序数据的缺失值进行缺失插补，步骤4：为模型构建损失函数，步骤5：模型训练，步骤6：将插补后的时序数据经过一个1×1的卷积神经网络对数据进行降维，得到与实际数据相同维度插补后的时序数据，步骤7：利用一个1×1的卷积神经网络根据得到的完成缺失数据插补的时序数据对未来时间步的耦合信息流数据进行预测。3.根据权利要求2所述的基于模态交叉方法的时序数据缺失插补方法，其特征在于，步骤1中人工选择滑动窗口确定输入维度，即选定N个节点，T时间步长的耦合信息流数据作为模型输入，限制输入维度，所选节点时序数据可能会产生随机缺失和非随机缺失的情况或者部分节点数据完全缺失。4.根据权利要求2所述的基于模态交叉方法的时序数据缺失插补方法，其特征在于，步骤2中使用卷积神经网络对数据进行升维的具体过程为：时序数据的输入维度是1×N×T,只有一个特征维度，使用C个卷积核对数据进行处理，数据的维度变为C×N×T，在不改变感受野的情况下加深网络，引入更多的非线性，其中，N是节点数，T是时间步长，C是数据的特征数，为任意自然数。5.根据权利要求2所述的基于模态交叉方法的时序数据缺失插补方法，其特征在于，2CN115827335A权利要求书2/3页步骤3中利用DSTTN对时序数据的缺失值进行缺失插补的方法为：步骤3.1将一列输入含缺失数据的时序数据向量与权重矩阵相乘后得到一列后进入自注意力层，即为用低维向