基于高效特征提取和上下文聚合的实时语义分割方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115457271A(43)申请公布日2022.12.09(21)申请号202211109728.9(22)申请日2022.09.13(71)申请人重庆邮电大学地址400065重庆市南岸区黄桷垭崇文路2号(72)发明人文凯韦胜男(74)专利代理机构北京同恒源知识产权代理有限公司11275专利代理师方钟苑(51)Int.Cl.G06V10/26(2022.01)G06V10/82(2022.01)G06V10/80(2022.01)权利要求书1页说明书7页附图2页(54)发明名称基于高效特征提取和上下文聚合的实时语义分割方法(57)摘要本发明涉及一种基于高效特征提取和上下文聚合的实时语义分割方法，属于图像语义分割技术领域。该方法通过构建EFCANet模型，主要包括：编码阶段：采用一种双边结构，其中空间分支使用池化操作及标准卷积保留浅层空间信息并加强特征传播；上下文分支用来提供大的感受野，捕获深层上下文信息；这两条分支在网络的不同阶段合并，以加强不同层次之间的信息传播；解码阶段：结合深度可分离卷积和通道重排操作构建上下文融合模块CFM，将不同层次的特征信息进行融合，得到特征融合图。本发明提高了模型的分割效果。CN115457271ACN115457271A权利要求书1/1页1.一种基于高效特征提取和上下文聚合的实时语义分割方法，其特征在于，该方法是通过构建EFCANet模型，包括编码阶段和解码阶段；编码阶段：采用一种双边结构，其中空间分支使用池化操作及标准卷积保留浅层空间信息；上下文分支用来提供大的感受野，捕获深层上下文信息；这两条分支在网络的不同阶段合并；解码阶段：结合深度可分离卷积和通道重排操作构建上下文融合模块CFM，将不同层次的特征信息进行融合，得到特征融合图。2.根据权利要求1所述的实时语义分割方法，其特征在于，所述上下文分支结构为：第1～3层：3×3卷积；第4层：下采样；第5～7层：高效特征提取单元A，即EFEU‑A；其中高效特征提取单元EFEU是利用残差结构构建的；第8层：3×3卷积；第9～14层：高效特征提取单元B，即EFEU‑B。3.根据权利要求2所述的实时语义分割方法，其特征在于，高效特征提取单元EFEU‑A是依次通过3×3卷积、1×1卷积、3×3扩张卷积以及通道重排操作，提取浅层特征。4.根据权利要求2所述的实时语义分割方法，其特征在于，高效特征提取单元EFEU‑B是依次通过3×1卷积、1×3卷积、1×1卷积、5×5深度扩张卷积以及通道重排操作，捕获深层上下文信息。5.根据权利要求3或4所述的实时语义分割方法，其特征在于，在EFEU中引入PReLU激活函数和批归一化操作。6.根据权利要求1所述的实时语义分割方法，其特征在于，所述CFM模块是先将不同层的特征信息分别输入到深度可分离卷积层提取特征；然后将1/2分辨率的特征图进行平均池化，下采样到1/4得到X1，同时将1/8分辨率的特征图双线性上采样到1/4得到X3，将所得特征图进行相加，通过通道重排操作增加不同通道之间的信息交流。2CN115457271A说明书1/7页基于高效特征提取和上下文聚合的实时语义分割方法技术领域[0001]本发明属于图像语义分割技术领域，涉及一种基于高效特征提取和上下文聚合的实时语义分割方法。背景技术[0002]自动驾驶技术主要利用车载传感器感知路况信息并对获取到的图片信息进行精确与快速的识别与处理，以保证行驶过程的安全性。语义分割是计算机视觉领域的一个富有挑战性的研究课题，其目的是为给定图像的每个像素分配一个类别。目前，自动驾驶场景的应用通常表现出对实时推理速度和高精度的强烈需求。因此设计出能实现分割精度与处理速度平衡的分割算法是自动驾驶领域的研究热点之一。[0003]早期的图像分割主要根据图像的一些低层特征(如颜色、形状)分离出目标与背景，但面对复杂场景的识别具有较大的局限性。随着深度学习技术的发展，这个领域出现了多个研究分支，其中基于Long等人提出的全卷积网络(FullyConvolutionalNetworks,FCN)是一个主要的研究方向。[0004]基于FCN架构，深度学习的语义分割分为高质量模型和高效率模型。高质量模型的研究侧重于实现高精度而不过多关注推理速度，如DeepLab系列、PSPNet、AML，高精度算法通常计算量大、参数多，无法满足应用需求。高效率模型是在分割精度与计算资源之间进行权衡，ENet是首个实时分割网络，它通过降低图片分辨率来提高推理速度，但损失了部分空间信息。ERFNet将原始n×n卷积核分解为一个n×1卷积和一个1×n卷积，大大减少了网络参数。文献“SiH,ZhangZ,LvF,etal.Real‑timesemanticsegm