基于注意力机制和深度残差网络的系统故障诊断方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114897138A(43)申请公布日2022.08.12(21)申请号202210484425.9(22)申请日2022.05.06(71)申请人东南大学地址210096江苏省南京市江宁区东南大学路2号(72)发明人王克璇朱小良刑天阳姜牧笛(74)专利代理机构北京德崇智捷知识产权代理有限公司11467专利代理师季承(51)Int.Cl.G06N3/04(2006.01)G06N3/00(2006.01)G06K9/62(2022.01)G01M99/00(2011.01)权利要求书2页说明书6页附图4页(54)发明名称基于注意力机制和深度残差网络的系统故障诊断方法(57)摘要本发明公开了一种基于注意力机制和深度残差网络的系统故障诊断方法，本方法，通过使用人工蜂群算法进行网络结构设计，从而获得最优网络层数和卷积核数目，从而充分发挥卷积操作对大型工业系统时序、多维、噪声干扰数据的特征提取能力，同时在残差块之间增加基于通道注意力和空间注意里的注意力机制，从而使得网络能够自动学习不同通道的重要程度和输入数据不同像素点的重要程度，从而加速模型训练收敛速度和故障诊断准确率。本方法通过将汽水分离再热系统的状态变量时序数据输入模型，在噪声干扰下，获得了较高的故障诊断准确率。CN114897138ACN114897138A权利要求书1/2页1.一种基于注意力机制和深度残差网络的系统故障诊断方法，其特征在于：包括如下步骤，S1.使用人工蜂群启发式优化算法，优化网络残差块数目和内部各层卷积核数目，以期获得满足最大故障诊断准确率和最小网络计算参数的帕累托最优网络结构；S2.在残差块之间、前后添加通道注意力机制和空间注意力机制，提升网络训练收敛速度和故障诊断准确率；S3.进行滑动窗口、边缘补零、标准化处理操作来对数据进行预处理；S4.将二维图像数据输入到网络中进行训练，最终获得训练完成的网络模型，对输入网络模型的汽水分离再热系统状态数据进行状态分类，从而诊断系统状态。2.根据权利要求1所述的基于注意力机制和深度残差网络的系统故障诊断方法，其特征在于：所述步骤S1中，使用人工蜂群群启发式优化算法设计网络结构，包括如下步骤，将网络残差块数目和网络内部各层的卷积核数目列为设计变量；将网络训练20个周期后的故障诊断准确率最大和网络计算参数总量最小列为目标变量；将训练周期设置为100次，然后使用人工蜂群算法自动寻优得到故障诊断准确率和网络计算参数总量的帕累托最优解集，帕累托最优解集对应于最优网络残差块数目和网络内部各层的卷积核数目，即最优网络结构。3.根据权利要求1或2所述的基于注意力机制和深度残差网络的系统故障诊断方法，其特征在于：在所述步骤S2中，所述通道注意力机制包括如下步骤，Sa1.压缩，所述压缩公式为：其中，uc(v,w)表示通道c的特征图中像素(v,w)；zc表示第c个全局特征点；输入特征图尺寸为H×W×C。Sa2.激活，所述激活公式为：sc＝σ(W2δ(W1zc))式中，σ表示sigmoid激活函数；δ表示Relu激活函数；W1和W2表示全连接层的权重；sc表示激活后的输出值；Sa3.乘积，所述乘积公式为：式中，表示加权后的特征图。4.根据权利要求3所述的基于注意力机制和深度残差网络的系统故障诊断方法，其特征在于：在所述步骤S2中，所述空间注意力机制包括如下步骤，Sb1.池化操作，即对输入尺寸为H×W×C的特征图进行基于通道的全局最大池化和全局平均池化，从而得到两个尺寸为H×W×1的特征平面，然后将这两个特征平面进行通道拼接，最终获得尺寸为H×W×2的特征图；Sb2.降维操作，即通过一个7×7的卷积核，将尺寸为H×W×2的特征图降维为H×W×1的特征图；2CN114897138A权利要求书2/2页Sb3.激活操作，即使用sigmoid激活函数生成不同位置的权重，从而使得模型获得分辨不同位置重要程度的能力；Sb4.乘积操作，即将上一步学习到的各个位置的权重系数赋值给最初的特征图，从而使得模型对不同位置特征具有辨别能力；Sb5.空间注意力机制可以描述为：7×7Ms(F)＝σ(f([AvgPool(F)；MaxPool(F)]))式中，σ表示sigmoid激活函数；f7×7表示7×7的卷积操作；AvgPool(F)和MaxPool(F)分别表示全局平均池化和全局最大池化。5.根据权利要求4所述的基于注意力机制和深度残差网络的系统故障诊断方法，其特征在于：使用滑动窗口方法采集固定时间长度的二维图像数据，将汽水分离再热系统状态数据进行时间轴上的滑动窗口操作，从而将时序数据转化为时序‑变量二维图像数据，使得系统状态数据能够被卷积操作。6.根据权利要求5所述的基于注意力机制和深度残差网络的系统故障