一种基于域适应的深度学习混凝土桥梁裂缝实时检测方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114693615A(43)申请公布日2022.07.01(21)申请号202210261682.6(22)申请日2022.03.17(71)申请人常州工学院地址213031江苏省常州市新北区辽河路666号(72)发明人邓江桦(51)Int.Cl.G06T7/00(2017.01)G06T7/11(2017.01)G06T7/136(2017.01)G06T7/155(2017.01)G06T7/62(2017.01)G06T5/00(2006.01)权利要求书3页说明书11页附图6页(54)发明名称一种基于域适应的深度学习混凝土桥梁裂缝实时检测方法(57)摘要本发明涉及深度学习技术在混凝土桥梁裂缝实时检测中的运用，具体是一种基于域适应的深度学习混凝土桥梁裂缝实时检测方法，以基于计算机视觉新算法的混凝土桥梁裂缝损伤识别和量化为技术背景，以深度学习和图像处理方法理论为基础，采用损伤数据集设计、神经网络架构搭建和损伤特征分割与量化相结合的方法，对具有多尺度复杂背景噪声特征的真实混凝土桥梁裂缝图像进行识别检测，包括：步骤一、混凝土桥梁裂缝损伤图像数据集预处理和准备；步骤二，建立裂缝损伤实时识别的迁移学习新网络架构方法；步骤三，使用轻量级注意力机制深度学习算法优化；步骤四，混凝土裂缝特征量化。CN114693615ACN114693615A权利要求书1/3页1.一种基于域适应的深度学习混凝土桥梁裂缝实时检测方法，其特征在于，包括：步骤一、混凝土桥梁裂缝损伤图像数据集预处理和准备；包括数据集建立，具体采用不同来源的真实现场混凝土桥梁裂缝数据图像作为部分原始数据图像，然后通过预处理分析来确定训练、验证和测试集的布置，然后使用MATLAB对裁剪后尺寸为512×512像素的裂缝损伤图像数据集进行像素点标注；研究现场采集到的数据集中具有混凝土桥梁结构裂缝以及复杂手写标注背景的图像，分析其图像的基本特征、结构损伤的种类以及结构裂缝在图片中呈现的大小、数量对神经网络算法目标检测鲁棒性的影响；包括混凝土桥梁裂缝图像的数据增强，具体采用有监督的图像数据增强和基于生成对抗网络的无监督数据增强两种数据增强方法；其中有监督的图像数据增强是指在样本受限的条件下，数据增强在不实质性增加数据的情况下，让有限的初始图像数据产生等价于更多数据的价值；首先，通过MATLAB或者ImageJ图像处理软件导入初始设计的混凝土桥梁裂缝图像数据集，对其进行单样本的几何变换，包括翻转，旋转，移位，裁剪，变形和缩放；然后通过颜色变换数据增强法对数据集进行包括亮度、噪声、模糊、颜色变换、擦除和填充处理；其中基于生成对抗网络的无监督数据增强是指通过生成对抗网络模型学习图像数据的分布，随机生成与训练数据集分布一致的图片，通过利用生成对抗网络模型中的生成器与判别器之间的交替优化训练，采用适当的超参数调优和足够的训练迭代次数，生成器网络和判别器网络将同时收敛直到描述伪造数据的分布和取样真实数据的分布相一致的点，最终得到改进的生成模型；然后使用这个生成模型去生成更多具有复杂背景环境的真实混凝土桥梁裂缝数据以实现无监督数据增强；步骤二，建立裂缝损伤实时识别的迁移学习新网络架构方法；包括基于领域自适应编码器和解码器架构的裂缝检测和识别，利用领域自适应迁移学习方法的目标是将数据分布不同的源域和目标域的数据映射到一个共同的特征空间中，并使它们在空间中尽可能接近，从而减少对目标域数据标注的过度依赖；通过最小化源分布和目标分布之间的距离，建立一个中间域进行深度神经网络的训练，以提高提取域不变特征的能力；MK‑MMD通过多个核的线性组合得到最优核，最终得到域判别损失，其平方公式定义为：其中，其中Hk表示具有特征核k的再生核希尔伯特空间，Ds为源域数据，Dt为目标域数据；采用的编码器和解码器神经网络架构进行裂缝损伤分割；编码器拟采用预训练好的深度残差网络为基础网络模型进行迁移学习，并通过残差学习机制以解决深度网络训练过程中的退化问题；该深度网络模型由卷积运算器来获取图像局域特征、通过最大池化运算器对特征图进行下采样、可学习的Swish非线性激活函数和批量归一化对训练图像的分布归一化以加速学习运算函数组成；然后，通过解码器的上采样模块对缩小后的特征图进行卷2CN114693615A权利要求书2/3页积处理，使输出与输入图像的大小相匹配来弥补细节损失，以实现在复杂场景中对混凝土桥梁裂缝特征进行精准像素级分割；使用focal‑Tversky损失函数进行数据模型训练，以解决数据集不均衡和图像背景复杂度高的问题，采用自适应矩估计优化器，通过利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率；超参数如一阶矩、二阶矩和dropout比率分别拟定为0.9、