一种基于轻量级Transformer的桥梁混凝土裂缝检测方法及装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114913162A(43)申请公布日2022.08.16(21)申请号202210577574.X(22)申请日2022.05.25(71)申请人广西大学地址530004广西壮族自治区南宁市西乡塘区大学东路100号(72)发明人许华杰苏国韶秦远卓刘鑫梁金福候攀江浩李仁杰(51)Int.Cl.G06T7/00(2017.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书9页附图5页(54)发明名称一种基于轻量级Transformer的桥梁混凝土裂缝检测方法及装置(57)摘要本发明公开了一种基于轻量级Transformer的桥梁混凝土裂缝检测方法及装置，包括：使用无人机采集桥梁混凝土裂缝图像，并将采集到的数据回传；将图像进行预处理并转换成固定的输入格式，建立数据集；构建轻量级Transformer网络，对图像进行训练及测试得到识别模型，所述轻量级Transformer采用了两阶段的Patch变换方法，在训练时丢弃Transformer的部分输入序列，减轻过拟合问题并增强patch之间的多样性；部署识别模型，开展对于待识别桥梁表面图像的识别。本发明通过所提出的轻量级Transformer，降低了桥梁混凝土裂缝检测方法的计算负载，使之可以在计算资源有限的平台部署。CN114913162ACN114913162A权利要求书1/2页1.一种基于轻量级Transformer的桥梁混凝土裂缝检测方法，其特征在于，包括如下步骤：步骤S1：使用无人机采集桥梁混凝土裂缝图像，并将采集到的数据回传；无人机首先进行飞行准备，包括天气检测、飞行方案设计以及飞行前测试，之后起飞执行图像采集任务，完成后返航并对采集的数据进行检查；如果图像质量不合格，则需要对图像对应的拍摄区域进行补飞；步骤S2：将图像进行预处理并转换成固定的输入格式，建立数据集；将无人机拍摄的图片导入到本地计算机中，进行图片标注、图片降噪增质、几何矫正、附属信息提取等处理；之后选择一定数量的有裂缝和无裂缝的图像建立桥梁表面图像的数据集；步骤S3：构建轻量级Transformer网络，对图像进行训练及测试得到识别模型；网络包括基于patch的切分以及带有序列池化的Transformer两部分，其中所述基于patch的切分包括分块、两阶段Patch变换以及线性投影，带有序列池化的Transformer包括Transformer编码器、序列池化层以及线性层；两部分之间需要插入位置编码；桥梁表面图像在输入网络前需切分为8*8的patch，之后进行两阶段Patch变换，通过线性投影后形成Transformer编码器的输入序列，其中每个patch的嵌入维数为256；所述Transformer编码器共有6个块，每个块包括多头注意力层（4个头）以及基于位置的前馈网络（FFN），其中所述FFN第一层维数为512，第二层维数为256，激活函数为GELU；多头注意力层和前馈网络的输出分别被送到“addandnorm”层进行处理，该层包含残差结构以及层归一化；序列池化层汇聚Transformer编码器的输出，将序列输出映射到单一的类索引；最后的线性层是一个两层的感知机，第一层输出维度为1024，第二层用于分类，输出维度为类别个数2，代表无裂缝图像和有裂缝图像；步骤S4：部署识别模型，开展对于待识别桥梁表面图像的识别；将训练完成的轻量级Transformer模型整合到桥梁混凝土裂缝检测软件中；用户将待识别图像传输至本地计算机中，使用软件进行裂缝检测；检测时，用户可上传单张或多张图片，软件调用模型进行识别，并将识别结果返回至软件界面中。2.如权利要求1所述的桥梁混凝土裂缝检测方法，其特征在于，所述步骤S3中的两阶段Patch变换方法如下：第一阶段使用网格状的Patchdropping，在图像生成的所有8*8的patch中，按照网格形状间隔丢弃一定数量的patch，令Patches是一个m行n列的Patch矩阵，网格状的Patchdropping的公式如下：Drop=Reshape(Cycle(0,1,p))Patches=Patches*Drop首先计算Drop矩阵，其是一个只包含0和1的二值矩阵，0代表要丢弃的patch，1代表要保留的patch，Cycle函数用于生成0和1的交替向量，p=m*n代表patch的总个数；之后从交替矩阵中取一段连续的长为p的向量，重构成和Patches相同大小的矩阵；将Patches与Drop矩阵相乘，得到最终保留下的Patches矩阵；第二阶段，将第一阶段丢弃的patch转换为4*4的缩略图，随机与保留下的输入patch相混合，公式如下：x'=Mx1+Φ(T(x2))2CN1