一种用于轮对踏面缺陷识别的图像交互融合方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN116012687A(43)申请公布日2023.04.25(21)申请号202310101570.9(22)申请日2023.02.10(71)申请人湖南工业大学地址412000湖南省株洲市天元区泰山路88号(72)发明人刘建华杨皓楠何静张昌凡李哲姝王忠美贾林黄刚(74)专利代理机构广州粤高专利商标代理有限公司44102专利代理师杜梅花(51)Int.Cl.G06V10/80(2022.01)G06V10/40(2022.01)权利要求书3页说明书8页附图3页(54)发明名称一种用于轮对踏面缺陷识别的图像交互融合方法(57)摘要本发明公开了一种用于轮对踏面缺陷识别的图像交互融合方法，所述方法主体包含有五个阶段，分别为数据采集与处理阶段、多尺度交互注意特征提取阶段、约束耦合解码阶段、融合推断阶段以及结果展示阶段；其多尺度交互注意特征提取阶段中运用的自适应混合交互注意模块，利于进行模型目标形状的区分，其多尺度交互注意特征提取阶段中运用的多尺度稀疏特征提取模块，利于进行提取特征时尺度的区分；其设计的约束耦合解码阶段，该阶段将一致性损失和重构损失引入模态解码器中，提高了模型识别的精度；综上所述，本发明解决了提取特征时目标形状和尺度难以区分的问题，模型识别精度高。CN116012687ACN116012687A权利要求书1/3页1.一种用于轮对踏面缺陷识别的图像交互融合方法，其特征在于，所述方法主体包含有五个阶段，分别为数据采集与处理阶段、多尺度交互注意特征提取阶段、约束耦合解码阶段、融合推断阶段以及结果展示阶段；所述方法的步骤如下：S1、数据采集与处理阶段：现场采集轮对踏面缺陷的RGB图像样本，采用泊松编码器对原始RGB图像样本进行编码得到泊松模态POS图像用于图像融合；S2、多尺度交互注意特征提取阶段：S2.1、将融合了RGB和泊松图像的预训练轻量化网络Mobilenetv2作为模型主干网络，提取步骤S1中分别采集RGB图像和泊松模态图像的模态的底层特征，设输入特征映射xm∈RH×W×C为m模态输入图像，则其最终编码特征如下：hm＝Mobilem(xm),m∈{r,p}其特征映射xm∈RH×W×C式中的H、W、C表示为输入图像的长、宽、通道数，式中m其中的H1、W1、C1又分别表示特征图的长、宽、通道数，Mobile分别表示m模态的编码特征、Mobilenetv2网络；S2.2、采用多尺度稀疏特征提取模块DGASPP用于对底层特征的多尺度特征提取，多尺度稀疏特征提取模块DGASPP对两个模态的编码特征hm进行多尺度特征提取，提取公式为：式中DGASPPm分别表示m模态的多尺度编码特征、DGASPP模块；S2.3、运用自适应混合交互注意模块AHMA模块来提取底层特征中具有交互信息的空间通道注意特征，用以解决图像样本中缺陷形状差异小的问题，采用AHMA模块来提取具有交互信息的空间通道注意特征的公式：mr,mp＝AHMA(sr,sp)式中，分别表示两个模态的注意加权特征；AHMA为自适应混合交互注意模块；S3、约束耦合解码阶段：启用约束耦合解码模块，运用模态解码器解码步骤S2.2中多尺度交互注意特征提取模块中提取的特征，模态解码器中采用改进的编码解码结构的网络Deeplabv3，对解码部分进行改进过程如下：S3.1、添加额外的特征拼接卷积CConv、捷径卷积SConv，用以在更多尺度上获取的解码特征；S3.2、在不同模态的解码特征间添加一致性约束损失，捕获解码特征中的交互特征；S3.3、在输入图像和重构图像间增加重构损失，提取形状特征；S3.4、构建由任务损失、一致性损失、重构损失组成总目标损失函数，指导网络学习相关特征，所述总目标损失函数的公式为：Ltotal＝μLtask+(1‑μ)(Lconsis+Lrecon)式中：μ为损失函数调剂因子，Ltask为任务损失函数，Lconsis为一致性损失函数，Lrecon为重构损失函数；2CN116012687A权利要求书2/3页S4、融合推断阶段：采用全局平均池化和多层感知机来对交互注意特征进行融合推断，其融合推断公式为：式中，P表示融合推断输出，MLP表示多层感知机，avg表示平均池化操作，⊕表示通道拼接操作；S5、结果展示阶段：展示部分测试集图像样本的各类别得分以及所属类别。2.根据权利要求1所述的一种用于轮对踏面缺陷识别的图像交互融合方法，其特征在于，所述约束耦合解码模块用于辅助多尺度交互注意特征提取阶段训练网络，不参与测试。3.根据权利要求1所述的一种用于轮对踏面缺陷识别的图像交互融合方法，其特征在于，所述多尺度稀疏特征提取模块DGASPP由将幽灵模块和密集连接思想引入空洞空间金字塔池化模块ASPP形成。4.根据权利要求1所