检测螺栓松动的方法、卷积神经网络、训练方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114299421A(43)申请公布日2022.04.08(21)申请号202111558764.9(22)申请日2021.12.20(71)申请人北京理工大学地址100081北京市海淀区中关村南大街5号(72)发明人丁晓宇张天龙(74)专利代理机构北京弘权知识产权代理有限公司11363代理人逯长明许伟群(51)Int.Cl.G06V20/40(2022.01)G06K9/62(2022.01)G06N3/04(2006.01)G06N3/08(2006.01)G06V10/774(2022.01)权利要求书3页说明书14页附图12页(54)发明名称检测螺栓松动的方法、卷积神经网络、训练方法及系统(57)摘要本申请公开一种检测螺栓松动方法、卷积神经网络、训练方法及系统，其中，训练方法，包括：获取测试结构在不同螺栓松动状态测试下的振动图像序列；提取振动图像序列中目标区域内预设数量像素点的振动位移信号；将提取的每个像素点的振动位移信号转换为时频图像；构建训练样本；以训练样本中时频图像作为输入，以预测螺栓松动状态类别作为输出，将待训练的卷积神经网络训练至收敛。本申请中一个视频样本能够提供成千上万个振动位移信号用于卷积神经网络的训练，充足的训练数据能大大提高卷积神经网络的预测准确率，从而解决了卷积神经网络训练中工程实测数据短缺的问题。CN114299421ACN114299421A权利要求书1/3页1.一种检测螺栓松动的卷积神经网络的训练方法，其特征在于，包括：获取测试结构在不同螺栓松动状态测试下的振动图像序列，所述振动图像序列包括的多帧按时间序列排序的振动图像；提取所述振动图像序列中目标区域内预设数量像素点的振动位移信号；将提取的每个像素点的振动位移信号转换为时频图像；构建训练样本，所述训练样本包括对所述测试结构测试的所有螺栓松动状态类别，以及，与各螺栓松动状态类别对应的时频图像；以所述训练样本中时频图像作为输入，以预测螺栓松动状态类别作为输出，将待训练的卷积神经网络训练至收敛。2.根据权利要求1所述的训练方法，其特征在于，提取所述振动图像序列中第一像素点的振动位移信号的方法，包括：提取每帧振动图像中第一像素点的灰度信息，所述第一像素点为所述振动图像中目标区域内任意一个像素点；对提取的每个所述第一像素点的灰度信息滤波处理；根据所述滤波后的灰度信息，分别计算每帧振动图像中第一像素点的相位；分别计算第一像素点在各自振动图像与在第一帧振动图像上的相位差；根据所述第一像素点在各帧振动图像中的相位差，生成所述第一像素点的振动位移信号。3.根据权利要求1所述的训练方法，其特征在于，所述将提取的每个像素点的振动位移信号转换为时频图像，包括：通过连续小波变换，绘制与每个像素点的振动位移信号对应的时频图像。4.根据权利要求1所述的训练方法，其特征在于，如果所述目标区域包括一个子区域，则以所述训练样本中一张时频图像作为输入，以预测螺栓松动状态类别作为输出，将待训练的卷积神经网络训练至收敛。5.根据权利要求1所述的训练方法，其特征在于，如果所述目标区域包括多个子区域，则分别从各子区域选取一张时频图像，得到时频图像序列；以所述时频图像序列作为输入，以预测螺栓松动状态类别作为输出，将待训练的卷积神经网络训练至收敛。6.根据权利要求1所述的训练方法，其特征在于，以所述训练样本中时频图像作为输入，以松动状态类别作为输出，将待训练的卷积神经网络训练至收敛，包括：将所述训练样本中时频图像输入至所述待训练的卷积神经网络；经过所述待训练的卷积神经网络处理后，输出预测螺栓松动状态类别；根据所述预测螺栓松动状态类别和所述训练样本中的螺栓松动状态类别，计算损失值；判断所述损失值是否收敛，如果是，则训练结束；或，如果否，继续训练直至所述损失值收敛。7.根据权利要求1所述的训练方法，其特征在于，所述待训练的卷积神经网络包括输入层、多组交替堆叠设置的卷积层和池化层、全连接层、分类器以及输出层；通过所述输入层输入训练样本中时频图像；2CN114299421A权利要求书2/3页通过所述多组交替堆叠设置的卷积层和池化层，对输入所述待训练的卷积神经网络的时频图像卷积计算和降采样处理，输出第一特征图；通过所述全连接层，对所述第一特征图全连接处理，输出第二特征图；通过所述分类器，对所述第二特征图分类；通过所述输出层，输出预测螺栓松动状态类别。8.一种检测螺栓松动状态的卷积神经网络的训练系统，其特征在于，包括：第一获取模块，用于获取测试结构在不同螺栓松动状态测试下的振动图像序列，所述振动图像序列包括的多帧按时间序列排序的振动图像；第一提取模块，用于提取所述振动图像序列中目标区域内预设数量像素点的振动位移信号；第一转换模