一种基于卷积神经网络的图像识别方法、装置及系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115272826A(43)申请公布日2022.11.01(21)申请号202210925219.7(22)申请日2022.08.03(71)申请人东莞理工学院地址523808广东省东莞市松山湖科技产业园区大学路1号(72)发明人谢仁平陈浩瀚陶铭丁凯(74)专利代理机构东莞市奥丰知识产权代理事务所(普通合伙)44424专利代理师周文(51)Int.Cl.G06V10/82(2022.01)G06V20/56(2022.01)G06V10/26(2022.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书7页附图6页(54)发明名称一种基于卷积神经网络的图像识别方法、装置及系统(57)摘要本发明公开了一种基于卷积神经网络的桥梁混凝土道路图像裂缝识别方法、装置及系统，通过在VGG‑16全卷积神经网络模型的基础上引入梯度层和自我注意力机制模块，从而使模型在数据集上进行训练时起到加速收敛的作用，并使得模型在保证轻量化的同时，能提高网络模型对输入特征图的全局信息学习能力，提高其对混凝土道路图像的裂缝识别速度和识别精准度，本发明最终训练得到的混凝土道路裂缝识别模型可以高效、快速、高精度地进行图像裂缝检测。CN115272826ACN115272826A权利要求书1/2页1.一种基于卷积神经网络的桥梁混凝土道路裂缝图像识别方法，其特征在于：包括以下步骤：步骤S100、采用VGG‑16模型搭建级联的全卷积神经网络；步骤S200、在模型输入端增加梯度层，将梯度层和原始图像组合的四通道矩阵作为新的输入端；步骤S300、在最后三个编码器模块的最后一个卷积层的输出端加入自我注意力机制模块，为网络模型引入注意力机制；步骤S400、在每个处理模块和自我注意力机制模块的输出端放置反卷积层模块，并通过卷积层分割最终图像；步骤S500、采用标定数据集对所述全卷积神经网络模型进行训练，其中，所述标定数据集为标定好混凝土裂缝特征的特征图集合；对步骤S600、待检测的桥梁道路图像逐帧处理，将处理后的图像输入神经网络模型进行裂缝分割，分割出待检测的桥梁道路图像中的裂缝。2.根据权利要求1所述的一种基于卷积神经网络的桥梁混凝土道路裂缝图像识别方法，其特征在于：在步骤S500中，采用标定数据集对所述全卷积神经网络模型进行训练，包括如下步骤：1)获得处理模块中最后一个卷积层的输出端经过卷积核输出的Query、Key、Value矩阵；其中，W、H、C、B、Θ、Φ、g分别为输入特征图的宽度、高度、通道数、批数、Query矩阵、Key矩阵和Value矩阵；2)对Query矩阵和Key矩阵作点乘运算，得到大小为的相似度权重矩阵；3)对相似度权重矩阵进行Softmax运算，实现相似度权重矩阵的归一化；4)将归一化的相似度权重矩阵与Value矩阵进行点乘运算，得到大小为的Attention值；经过的卷积核扩展通道数为C后，叠加Attention值到处理模块中最后一个卷积层的输出端矩阵。3.根据权利要求1所述的一种基于卷积神经网络的桥梁混凝土道路裂缝图像识别方法，其特征在于：所述全卷积神经网络包括输入模块、编码器模块以及解码器模块。4.根据权利要求1所述的一种基于卷积神经网络的桥梁混凝土道路裂缝图像识别方法，其特征在于：所述输入模块由梯度层和输入图像组成；梯度层首先由输入图像的横纵坐标方向采用的Sobel一阶差分算子进行处理，得到横、纵坐标方向的梯度矩阵，再根据每点坐标的横、纵坐标方向的梯度绝对值之和作为梯度幅值，得到梯度层。5.根据权利要求1所述的一种基于卷积神经网络的桥梁混凝土道路裂缝图像识别方法，其特征在于：所述编码器模块共有五块，第一块编码器对输入的特征图进行两次卷积操作，输入由标定数据集中的特征图与梯度层组成；第二块编码器由池化层和两层卷积层组成，通过最大池化操作，使得输入的特征图长宽维度都缩小一倍，从而提取更高阶的语义信息，减少计算量；往后三块编码器由池化层和三层卷积层组成。6.根据权利要求3所述的一种基于卷积神经网络的桥梁混凝土道路裂缝图像识别方法，其特征在于：所述解码器模块与编码器模块和自我注意力机制模块一一对应，其输入的2CN115272826A权利要求书2/2页特征图分别来自上一处理模块的输出；解码器模块对上一处理模块的输出进行转置卷积操作，使得特征图的长宽维度扩大一倍，然后将转置后的特征图与对应自我注意力机制模块的转置输出进行通道叠加，再进行一次卷积操作。7.一种基于卷积神经网络的桥梁混凝土道路裂缝图像识别装置，其特征在于：包括：模型搭建模块，采用基于VGG‑16模型搭建级联的全卷积神经网络，所述的全卷积神经网络架构由多个处理模块组成，所述处理模块包括依次级联