一种基于边缘计算和Transformer的桥梁混凝土裂缝实时检测方法及装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114937016A(43)申请公布日2022.08.23(21)申请号202210577573.5(22)申请日2022.05.25(71)申请人广西大学地址530004广西壮族自治区南宁市西乡塘区大学东路100号(72)发明人苏国韶许华杰刘鑫秦远卓梁金福候攀江浩李仁杰(51)Int.Cl.G06T7/00(2017.01)G06V10/764(2022.01)G06V10/774(2022.01)G06V10/82(2022.01)G06V20/17(2022.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书9页附图2页(54)发明名称一种基于边缘计算和Transformer的桥梁混凝土裂缝实时检测方法及装置(57)摘要本发明公开了一种基于边缘计算和Transformer的桥梁混凝土裂缝实时检测方法及装置，包括采集桥梁混凝土裂缝图像；对图像进行数据检查及预处理，建立数据集；构建适用于边缘计算的轻量级Transformer网络，所述轻量级Transformer网络包含一个用于模型训练阶段的混合块变换方法，由概率阈值控制使用其中的块丢弃变换和块缩略图变换丢弃部分输入信息；训练网络得到识别模型；将识别模型部署到无人机上，使用无人机开展桥梁混凝土裂缝实时检测。本发明通过所提出的轻量级Transformer以及在无人机边缘设备的部署，提高了无人机桥梁混凝土裂缝实时检测的效率。CN114937016ACN114937016A权利要求书1/2页1.一种基于边缘计算和Transformer的桥梁混凝土裂缝实时检测方法，其特征在于，包括如下步骤：步骤S1：采集桥梁混凝土裂缝图像；包括收集公开的裂缝图像以及使用无人机拍摄裂缝图像两部分；步骤S2：对图像进行数据检查及预处理，建立数据集；检查无人机拍摄的图像，对于较模糊的图像使用模糊去噪方法处理；使用裁剪、色彩抖动、缩放的方式进行数据扩充；对无人机拍摄的图像进行人工标注，划分为有裂缝图像和无裂缝图像两类；将在互联网上公开的裂缝图像与无人机拍摄的裂缝图像合并构建数据集；步骤S3：构建适用于边缘计算的轻量级Transformer网络；网络包括输入转换、Transformer编码器以及预测头三部分，其中所述输入转换包括分块、混合块变换以及线性投影，图像在输入网络前需切分为8*8的图像块，之后进行混合块变换，通过线性投影后形成Transformer编码器的输入序列，每个块的嵌入维数为128；输入转换和Transformer编码器两部分之间需要插入位置编码；Transformer编码器主要包括多头注意力层（2个头）和前馈网络（FFN）两部分，其中所述FFN第一层维数为512，第二层维数为128，激活函数为GELU；预测头包括全局平均池化层和线性层，其中线性层是一个两层的感知机，输入维度为128，第一层输出维度为512，第二层用于分类，输出维度为类别个数2，分别代表无裂缝图像和有裂缝图像；步骤S4：训练网络得到识别模型；在大规模图像数据集ImageNet‑1K上对所述轻量级Transformer网络进行预训练，之后使用预训练模型在步骤S2得到的桥梁混凝土裂缝数据集上进行微调；步骤S5：将识别模型部署到无人机上，使用无人机开展桥梁混凝土裂缝实时检测；将训练完成的轻量级Transformer模型部署至AI开发板；根据模型计算能力、传输时延等信息，制定计算卸载的方案；将AI开发板作为边缘计算设备挂载到无人机上，无人机执行实时检测时将卸载的桥梁混凝土裂缝检测任务传输至边缘计算设备进行计算，并将识别到的类别及置信度回传至地面端设备。2.如权利要求1所述的桥梁混凝土裂缝实时检测方法，其特征在于，所述步骤S3中的混合块变换方法包括两种类型的变换方法，如下：第一类变换为块丢弃变换，在切分后得到的所有块中，丢弃一半数量的不相邻的块；设P为切分后的块矩阵，块丢弃方法的主要公式如下：P=P*D其中P有i行j列，D是一个二值矩阵（0或1），其中0代表要丢弃的块，1代表要保留的块；二值矩阵D由以下公式计算而来：D=CycleAndReshape(0,1,n)首先生成一个二值数组，由0和1交替循环，n=i*j代表图像块的总个数，为生成的二值数组的长度，之后将二值数组重构成和P相同大小的矩阵，最后将P矩阵与D矩阵相乘，得到的矩阵即为变换后的块矩阵；第二类变换为块缩略图变换，随机选择全部图像块中的一半，将其转换为缩略图，大小从原来的8*8转换为4*4；将这些缩略图与另一半图像块两两混合，仅保留混合后的图像块，设有两个样本块patch1和patch2，混合公式如下：2CN114937016A权利要求书2/2页patchmix=Mpa