一种基于深度学习的实时性道路图像语义分割方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113688836A(43)申请公布日2021.11.23(21)申请号202111144614.3(22)申请日2021.09.28(71)申请人四川大学地址610000四川省成都市一环路南一段24号(72)发明人张轶苗柳(74)专利代理机构北京天奇智新知识产权代理有限公司11340代理人肖会(51)Int.Cl.G06K9/34(2006.01)G06K9/46(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书5页附图4页(54)发明名称一种基于深度学习的实时性道路图像语义分割方法及系统(57)摘要本发明涉及一种基于深度学习的实时性道路图像语义分割方法及系统，所述语义分割方法包括：建立基于编码器和解码器架构的神经网络模型；将测试的原始图像输入到编码器进行逐层特征提取与下采样，获取全局语义信息；解码器接收编码器的处理结果，融合多层多尺度的特征并进行上采样，恢复分割图像的空间细节得到与原图像尺寸相同的语义标记；将语义标记图映射到原始图像上，实现分割结果的可视化。本发明通过轻量级的逆残差瓶颈模块和深度可分离卷积，充分挖掘网络的多尺度特征，在保证了分割准确率的条件下大大减少了网络的计算规模，实时性效果好，充分使用多尺度特征融合，在对不同尺度的目标(行人、汽车)都能取得较好的分割效果。CN113688836ACN113688836A权利要求书1/2页1.一种基于深度学习的实时性道路图像语义分割方法，其特征在于：所述语义分割方法包括：建立基于编码器和解码器架构的神经网络模型；将测试的原始图像输入到编码器进行逐层特征提取与下采样，获取全局语义信息；解码器接收编码器的处理结果，融合多层多尺度的特征并进行上采样，恢复分割图像的空间细节得到与原图像尺寸相同的语义标记；将语义标记图映射到原始图像上，实现分割结果的可视化。2.根据权利要求1所述的一种基于深度学习的实时性道路图像语义分割方法，其特征在于：所述编码器由级四层第一网络层组成，每一层都设置了批标准化，第一层由一个普通2D卷积和两个深度可分离卷积组成，剩下的三层每层都由三个逆残差瓶颈模块组成；第一层到第四层依次传递，前三层用于提取原始图的底层特征，并在第三层中进一步下采样得到原图像的1/32尺度，最终四个第一网络层输出特征图为{S1，S2，S3，S4}。3.根据权利要求2所述的一种基于深度学习的实时性道路图像语义分割方法，其特征在于：所述逆残差瓶颈模块中输入特征图首先根据膨胀系数由1×1卷积扩充通道系数，经过一个3×3的深度卷积后再由一个1×1的线性卷积将特征图映射到维度更少的空间上，以降低通道数据的冗余度和计算负荷。4.根据权利要求2所述的一种基于深度学习的实时性道路图像语义分割方法，其特征在于：所述解码器包括由四个自上而下形式第二网络层组成，每层第二网络层均由1×1卷积和3×3深度可分离卷积组成；所述解码器的输入为所述编码器四个第一网络层输出的特征图{S1，S2，S3，S4}，利用1×1卷积和上采样来调整相邻两阶段的特征尺寸，并将两组特征图相加之后，传递到下一层第二网络层，得到{M1，M2，M3，M4}，最后将{M1，M2，M3，M4}通过3×3深度可分离卷积和上采样，使其尺寸相同，最后全部进行相加融合，得到最终的特征图。5.根据权利要求1‑4中任意一项所述的一种基于深度学习的实时性道路图像语义分割方法，其特征在于：所述语义分割方法还包括设置于建立基于编码器和解码器架构的神经网络模型步骤之后的训练步骤；所述训练步骤包括将训练好的数据及输入到神经网络模型中进行训练，得到最优的网络权重。6.根据权利要求5所述的一种基于深度学习的实时性道路图像语义分割方法，其特征在于：所述训练步骤具体包括：对图像依次进行随机裁剪、随机缩放、随机水平翻转和随机光度畸变的预处理，以防止过拟合；采用损失函数为L(F，Y)＝Loss(softmax(D(F))，Y)的StochasticGradientDecent优化器进行训练，其中F为编码器输出结果，D为解码器，Y为真实标记图，Loss为交叉熵。7.一种基于深度学习的实时性道路图像语义分割系统，其特征在于：它包括模型构建单元、训练单元、可视化单元；所述模型构建单元用于建立由编码器和解码器组成的神经网络模型并实现对输入的原始图像进行逐层特征提取与下采样，获取全局语义信息，并融合多层多尺度的特征并进行上采样，恢复分割图像的空间细节得到与原图像尺寸相同的语义标记；所述训练单元用于对图像依次进行随机裁剪、随机缩放、随机水平翻转和随机光度畸变的预处理，以防止过拟合；以及采用损失函数为L(F，Y)＝Loss(