面向复杂场景的不对称双分支实时语义分割网络的方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115082928A(43)申请公布日2022.09.20(21)申请号202210723314.9G06N5/04(2006.01)(22)申请日2022.06.21(71)申请人电子科技大学地址611731四川省成都市高新区（西区）西源大道2006号(72)发明人陈波孙孟凡李伟冯莉尧(74)专利代理机构成都先导云创知识产权代理事务所(普通合伙)51321专利代理师李坤(51)Int.Cl.G06V20/70(2022.01)G06V10/26(2022.01)G06V10/80(2022.01)G06V10/82(2022.01)G06N3/04(2006.01)权利要求书2页说明书7页附图3页(54)发明名称面向复杂场景的不对称双分支实时语义分割网络的方法(57)摘要本发明涉及计算机视觉理解领域，尤其涉及面向复杂场景的不对称双分支实时语义分割网络的方法；包括以下步骤：基于特征共享的下采样模块获取低分辨率图像；基于更宽通道的轻量级双分支模块提取高级语义特征和低级细节特征；使用特征指导融合模块多尺度融合两个分支的语义和空间信息；基于特征恢复模块得到最终分割结果图。本发明通过共享浅层信息和特征指导的方式充分融合语义信息和空间信息，并基于不对称残差瓶颈模块作为语义分支的核心特征提取单元，最后结合多尺度信息完成密集特征的提取，解决了复杂场景中目标类别混淆、形状不规则和物体遮挡干扰，以及大部分的语义分割网络复杂度较高，无法实时高效地应用到移动/嵌入式平台中的技术问题。CN115082928ACN115082928A权利要求书1/2页1.面向复杂场景的不对称双分支实时语义分割网络的方法，其特征在于，包括以下步骤：步骤1：对原始输入图像进行预处理操作，得到输入图像，基于特征共享的下采样模块对输入图像进行下采样，得到第三特征图；步骤2：基于宽通道的轻量级双分支模块提取步骤1得到的特征图的高级语义特征和低级细节特征；步骤3：使用特征指导融合模块对两个分支模块的语义信息和空间信息进行多尺度融合，得到第十四特征图；步骤4：基于步骤3中的第十四特征图和特征恢复模块得到最终分割结果图。2.根据权利要求1所述的面向复杂场景的不对称双分支实时语义分割网络的方法，其特征在于，所述步骤1包括如下步骤：步骤1.1：对原始输入图像进行预处理操作，得到大小为1024×2048的输入图像；步骤1.2：利用一个标准2D卷积对通道数为3，大小为1024×2048的输入图像进行2倍的下采样，得到通道数为32，分辨率为512×1024的第一特征图；步骤1.3：利用一个深度可分离卷积对第一特征图进行2倍的下采样，得到通道数为48，分辨率为256×512的第二特征图；步骤1.4：利用一个深度可分离卷积对第二特征图进行2倍的下采样，得到通道数为384，分辨率为128×256的第三特征图。3.根据权利要求1所述的面向复杂场景的不对称双分支实时语义分割网络的方法，其特征在于，所述步骤2包括以下步骤：步骤2.1：利用双分支模块的细节分支单元对步骤1中得到的第三特征图进行通道降维，得到通道数为128，分辨率为128×256的第四特征图；步骤2.2：利用第一组不对称残差瓶颈模块对第三特征图进行卷积，第一组不对称残差瓶颈模块对第三特征图进行2倍的下采样，得到通道数为384，图像尺寸为64×128的第五特征图；步骤2.3：利用第二组不对称残差瓶颈模块对第五特征图进行卷积，第二组不对称残差瓶颈模块对第五特征图进行2倍的下采样，得到通道数为576，图像尺寸为32×64的第六特征图；步骤2.4：利用第三组不对称残差瓶颈模块对第六特征图进行卷积，分辨率保持不变，得到通道数为768，图像尺寸为32×64的第七特征图；步骤2.5：利用轻量级空洞空间金字塔池化单元对第七特征图进行多尺度特征信息提取，分辨率保持不变，得到通道数为128，图像尺寸为32×64的第八特征图。4.根据权利要求3所述的面向复杂场景的不对称双分支实时语义分割网络的方法，其特征在于，所述步骤3包括以下步骤：步骤3.1：采用一个下采样单元对第四特征图进行4倍的下采样，得到通道数为128，分辨率为32×64的第九特征图；步骤3.2：采用双线性差值方式对第八特征图进行4倍的上采样，得到通道数为128，分辨率为128×256第十特征图；步骤3.3：基于Sigmoid函数得到第八特征图和第十特征图的特征关键信息，并将特征2CN115082928A权利要求书2/2页关键信息分别与第九特征图和第四特征图以向量相乘的方式进行特征指导，得到低分辨率的第十一特征图和高分辨率的第十二特征图；步骤3.4：采用双线性差值方式对第十一特征图完成4倍上采样，得到第十三特征图，将第十三特征图和第十二特征图