基于注意力机制指导特征融合的图像语义分割方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110210485A(43)申请公布日2019.09.06(21)申请号201910391452.X(22)申请日2019.05.13(71)申请人常熟理工学院地址215500江苏省苏州市常熟市湖山路99号(72)发明人龚声蓉周鹏程(74)专利代理机构南京理工大学专利中心32203代理人吴茂杰(51)Int.Cl.G06K9/34(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)权利要求书1页说明书11页附图2页(54)发明名称基于注意力机制指导特征融合的图像语义分割方法(57)摘要本发明公开一种基于注意力机制指导特征融合的图像语义分割方法，包括如下步骤：(10)编码器基础网络构建：使用改进后的ResNet-101生成一系列由高分辨率低语义到低分辨率高语义变化的特征；(20)解码器特征融合模块构建：采用基于三层卷积操作的金字塔结构模块，提取强一致性约束的高层语义，再向低层阶段特征逐层加权融合，得到初步分割热图；(30)辅助损失函数构建：向解码阶段的每个融合输出追加辅助监督，再与热图上采样后的主监督损失叠加，强化模型的分层训练，得到语义分割图。本发明的基于注意力机制指导特征融合的图像语义分割方法，准确性高、边界轮廓清楚。CN110210485ACN110210485A权利要求书1/1页1.一种基于注意力机制指导特征融合的图像语义分割方法，其特征在于，包括如下步骤：(10)编码器基础网络构建：使用改进后的ResNet-101生成一系列由高分辨率低语义到低分辨率高语义变化的特征；(20)解码器特征融合模块构建：采用基于三层卷积操作的金字塔结构模块，提取强一致性约束的高层语义，再向低层阶段特征逐层加权融合，得到初步分割热图；(30)辅助损失函数构建：向解码阶段的每个融合输出追加辅助监督，再与热图上采样后的主监督损失叠加，强化模型的分层训练，得到语义分割图。2.根据权利要求1所述的图像语义分割方法，其特征在于，所述(10)编码器基础网络构建步骤包括：(11)构建块层数重部署：重新部署res-2到res-5阶段各自拥有的构建块数量，将原始ResNet-101的res-2到res-5的{3，4，23，3}构建块数量调整为{8，8，9，8}；(12)扩大感受野：将ResNet-101基础网络结构中res-5阶段的传统卷积改为扩张率为2的空洞卷积。3.根据权利要求1所述的图像语义分割方法，其特征在于，所述(20)解码器特征融合模块构建步骤包括：(21)提取末端高层语义信息：采用基于三层卷积操作的类似金字塔的结构模块，在模块中分别使用3×3，5×5和7×7的卷积，通过融合不同尺度的上下文，得到具有最强类内语义一致性的高层语义；(22)融合上下文特征：通过逐层合并相邻阶段的特征从而计算出通道注意向量，以此作为加权选择出低层阶段中判别力强的特征信息，并与相邻高阶段特征相融合，得到初步分割热图。2CN110210485A说明书1/11页基于注意力机制指导特征融合的图像语义分割方法技术领域[0001]本发明属于静态图像识别技术领域，特别是一种准确性高、边界轮廓清楚的基于注意力机制指导特征融合的图像语义分割方法。背景技术[0002]语义分割即像素级别的图像理解，是计算机视觉领域的重要基石之一，有着非常广泛的应用场景。其通过细粒度分割的方式，赋予了机器将视觉画面的不同区域以像素级别剥离开来的能力。语义分割将图像中属于同一目标的像素区域划分到一起，从而扩展其应用领域。[0003]语义分割在进行像素级预测的同时将对象分类和目标定位两个问题结合在一起解决，如何在高层抽象的对象分类和低层精确的目标定位这两个相互约束的问题之间取得平衡是当前语义分割方法所要面对的核心问题。语义分割方法可以大致分为两类。第一种，通过人工提取特征生成图像中各个对象的语义，这种方法往往需要细致的特征工程手段，再输入分类器进行像素级别的分类。第二种是基于深度学习方法，通过构建端到端系统将特征提取与分类器合在一起从而直接为每个像素分配一个语义标签。[0004]大多数传统的方法都是依赖于手工提取特征并与分类器相结合的机器学习方法，如Shotton等人的Boost方法，Johnson等人的随机森林，Soatto等人的支持向量机。这些方法通过整合来自上下文和结构化预测技术的丰富信息取得了实质性的进步。然而，由于手工提取的特征表达能力受限的影响，基于传统机器学习方法的图像语义分割系统性能逐渐饱和，无法突破瓶颈，其在分割准确率性能上仍有很大的提升空间。[0005]近些年，深度学习革命让相关领域发生了翻天覆地的变化，包括语义分割在内的许多计算机视觉问题都开始使用深层架构来解决。基于深度卷积神经网