一种端到端的道路裂缝检测系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113744205A(43)申请公布日2021.12.03(21)申请号202110943144.0(22)申请日2021.08.17(71)申请人哈尔滨工业大学（威海）地址264209山东省威海市环翠区文化西路2号哈尔滨工业大学（威海）(72)发明人张政谦薛浩乾郭政睿周广禄(74)专利代理机构济南知来知识产权代理事务所(普通合伙)37276代理人崔静(51)Int.Cl.G06T7/00(2017.01)G06T7/10(2017.01)G06N3/04(2006.01)G06N3/08(2006.01)G06T5/50(2006.01)权利要求书2页说明书6页附图1页(54)发明名称一种端到端的道路裂缝检测系统(57)摘要本发明公开了一种端到端的道路裂缝检测系统，涉及计算机视觉中的语义分割领域。检测系统的检测过程包括以下步骤：视频传输；用户通过本地上传视频数据或者公网视频流输入视频数据，视频数据解码为单帧的RGB图像输入到模型中，进行下一步操作；加载双边注意力机制模型；读取图像数据帧；提取空间注意力信息；提取通道注意力信息，通过平均池化和最大池化保留了更加关注的通道特征；融合输出并可视化。系统通过设计一个大感受野的双边全局注意力网络，裂缝检测分割准确率得到提高，并且兼顾了识别速度。CN113744205ACN113744205A权利要求书1/2页1.一种端到端的道路裂缝检测系统，其特征在于，包括空间注意力模块和通道注意力模块，检测过程包括以下步骤：(1)视频传输；用户通过本地上传视频数据或者公网视频流输入视频数据，视频数据解码为单帧的RGB图像输入到模型中，进行下一步操作；(2)加载双边注意力机制模型；(3)读取图像数据帧；(4)提取空间注意力信息；(5)提取通道注意力信息，通过平均池化和最大池化保留了更加关注的通道特征；(6)融合输出并可视化。2.如权利要求1所述的一种端到端的道路裂缝检测系统，其特征在于，步骤(1)中，对输入视频数据进行如下操作：(1)对拍摄的视频数据进行解析，得到每针的图像，每个图像的分辨率是2048×1024，随后将图片转换成RC*H*W的特征图输入到模型中，C表示图像的通道数，H和W表示每张图像的宽度和高度；经过ResNet50提取特征后，输出的特征图依然是RC*H*W维度；将提取的特征图分别传入空间注意力模块和通道注意力模块，两个模块均将R3*2048*1024的特征图转化为R512*64*64维度，随后进行相关计算；计算结束后，将空间注意力模块和通道注意力模块的输出结果进行融合，得到RC*H*W的特征图，保证输入输出的一致性；(2)对于空间注意力模块，假定输入为输出为fsp代表在Spatical(空间)维度，获取注意力信息。通过空间注意力机制获取上下文信息操作定义为：(3)对于通道注意力模块，假定输入为输出为fch代表(通道)维度，获取注意力信息，通过通道注意力机制获取上下文信息操作定义为：(4)对于得到的两个模块输出的特征图F1和F2，对他们进行特征融合以得到最终结果：F＝F1+F2。3.如权利要求1所述的一种端到端的道路裂缝检测系统，其特征在于，空间注意力模块的工作过程包括以下步骤：对于一个输入图像，经过Resnet50的骨干网络之后，进入空间注意力机制的特征图尺寸设为C×H×W，然后过一个1×1的卷积为了改变通道数，将通道数改变为之前的一半C/2，然后进入全局注意力模块，在全局注意力模块中的具体操作如下：(1)WQ，WK，WV经过1×1卷积后得到不同维度的特征图，进入的特征图转换成不同的矩阵；表示位置偏移矩阵的张量，分别对应WQ，WK，WV在宽度h和高度w两个维度的位置偏移矩阵，计算WQ，WK，WV，然后两轴的位置直接乘以对应项TWQx，WKx，WVx，然后加到WQx(WKx)上，得到：(2)合并了宽度轴和高度轴，将(1)得到的结果通过一个softmax，成为一个概率分布：2CN113744205A权利要求书2/2页(3)然后乘以位置偏移和相应的对应项，最后得到输出，输出的尺寸为C×H×W，整体的公式如下：4.如权利要求1所述的一种端到端的道路裂缝检测系统，其特征在于，通道注意力模块的工作过程包括以下步骤：(1)对于RC*H*W的输入图像，首先经过ResNet50提取特征后得到RC*H*W的输入特征图，然后进入通道注意力模块，提取通道信息；(2)通道信息提取模块主要是为了提取通道维度的上下文信息，通过对通道维度分配C*H*W合适的权重，来关注有意义的特征，首先是进行一个双向池化操作，将输入的特征图R3分别进行最大池化和平均池化操作，AaxPool()代表最大池化操作，AvgPool()代表平均赤化操作：F3＝A