一种基于多源图像融合的路面病害识别方法及系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115937518A(43)申请公布日2023.04.07(21)申请号202211534861.9G06N3/0464(2023.01)(22)申请日2022.11.29(71)申请人长安大学地址710064陕西省西安市雁塔区南二环路中段(72)发明人杨旭樊康李硕管进超刘文博丁玲(74)专利代理机构西安通大专利代理有限责任公司61200专利代理师钱宇婧(51)Int.Cl.G06V10/26(2022.01)G06V10/75(2022.01)G06V10/80(2022.01)G06V10/82(2022.01)权利要求书2页说明书11页附图5页(54)发明名称一种基于多源图像融合的路面病害识别方法及系统(57)摘要本发明公开了一种基于多源图像融合的路面病害识别方法及系统，本发明提供的路面状况检测方法中，通过多源采集设备获取多源数据，对多源数据进行预处理生成多源图像，首先对第一源图像的第二元图像进行严格图像配准，然后采用像素级图像融合得到多源融合图像并形成多源异构数据库，最后以多源异构数据作为输入，结合路面状况选用最优数据采用双层算法对病害进行检测，最后输出病害信息并完成相关指标计算，完成路面状况的检测与分析。CN115937518ACN115937518A权利要求书1/2页1.一种基于多源图像融合的路面病害识别方法，其特征在于，包括以下步骤：步骤1，针对同一区域，采集两类图像；步骤2，将一类图像作为参考图像，另一类图像作为待匹配图像，对参考图像和待匹配图像进行特征匹配，基于特征匹配获得两幅图像的几何变换模型，通过几何变换模型将待匹配图像转换为对齐图像；通过空间域融合算法将参考图像和对齐图像融合后获得融合图像；步骤3，通过yolo神经网络，在融合图像上识别出病害区域，将病害区域从融合图像中提取出来成为子图像；所述yolo神经网络中设置有CBAM注意力机制模块；步骤4，将子图像通过分割网络进行语义分割，分割后获得二值化的子图像，将二值化的子图像还原至融合图像中，获得完整的二值图；所述分割网络以unet为框架基础，主干网络为mobilenet；步骤5，通过matlab处理二值图，获得路面病害参数。2.根据权利要求1所述的一种基于多源图像融合的路面病害识别方法，其特征在于，步骤2的具体过程为：步骤2.1，对参考图像和待匹配图像进行特征检测，所述特征包括特征点、边缘、轮廓和区域；根据检测出的特征制定特征描述算子，通过特征描述算子计算图像变换模型参数；基于图像变换模型参数，通过特征配准算法进行特征匹配，获得内部参数，再结合待配准图像和参考图像的映射关系，获得两幅图像的几何变换模型，通过几何变换模型对待匹配图像进行几何变换后获得对齐图像；步骤2.2，通过基于像素的空间域融合算法将参考图像和对齐图像进行融合，获得融合图像。3.根据权利要求2所述的一种基于多源图像融合的路面病害识别方法，其特征在于，步骤2.2中，图像融合的公式为：F(xi,yj)＝ω1I1(xi,yj)+ω2I2(xi,yj)i＝1,2,……m；j＝1,2,……n其中，F为融合后图像，ω1和ω2分别为源图I1和I2的加权系数，其中ω1+ω2＝1；m×n为图像尺寸。4.根据权利要求1所述的一种基于多源图像融合的路面病害识别方法，其特征在于，步骤3中，所述yolo神经网络包括输入端、Backbone，Neck和输出端，所述Backbone中的最后一层添加有CBAM注意力机制模块。5.根据权利要求4所述的一种基于多源图像融合的路面病害识别方法，其特征在于，步骤3中，所述yolo神经网络的识别过程为：将目标图像分解为若干个图像在输入端检测，分解的图像检测完后，再将所有分解的图像框放回至大图中，对大图整体进行非极大抑制操作，将重叠区域中重复框进行去除，剩余的框为识别出的病害区域。6.根据权利要求1述的一种基于多源图像融合的路面病害识别方法，其特征在于，所述CBAM注意力机制模块识别的过程为：将输入的特征图分别经过最大池化和平均池化得到两个特征图，然后分别将其送入一个两层的神经网络，最后将生成的特征经过激活函数进行激活最终生成通道特征图；将两个通道特征图作为空间注意模块的输入特征图，首先进行最大池化和平均池化，然后将两个特征图基于通道做拼接操作，然后通过一个7x7卷积操作降维为一个通道，最后经过激活函数生成空间特征图。2CN115937518A权利要求书2/2页7.根据权利要求1所述的一种基于多源图像融合的路面病害识别方法，其特征在于，步骤4中，将预测框区域的图像提取成为子图像，通过路面病害分割算法将所述子图像进行病害分割，提取出分割出病害的位置信息，将病害的位置信息至于含有预测框的图像中，获得二值化的病害图像。8.根据