一种轻量化的多分支特征跨层融合图像语义分割方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112163449A(43)申请公布日2021.01.01(21)申请号202010846948.4(22)申请日2020.08.21(71)申请人同济大学地址200092上海市杨浦区四平路1239号(72)发明人刘成菊袁家遥陈启军郭翔(74)专利代理机构上海科盛知识产权代理有限公司31225代理人杨宏泰(51)Int.Cl.G06K9/00(2006.01)G06K9/34(2006.01)G06K9/46(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书7页附图8页(54)发明名称一种轻量化的多分支特征跨层融合图像语义分割方法(57)摘要本发明涉及一种轻量化的多分支特征跨层融合图像语义分割方法，包括以下步骤：1)获取原始图像，输入卷积下采样网络，得到不同分辨率的图像，保留物体的空间位置信息，同时减少图像中信息冗余；2)将不同分辨率的图像分别输入语义特征提取支路和跨层连接支路，分别得到深层特征和浅层特征；3)对深层特征和浅层特征分别进行重要性区分后，进行特征跨层融合；4)将融合后的特征图进行分类重组并上采样后，输出语义分割结果。与现有技术相比，本发明具有计算效率高且精度高等优点。CN112163449ACN112163449A权利要求书1/2页1.一种轻量化的多分支特征跨层融合图像语义分割方法，其特征在于，包括以下步骤：1)获取原始图像，输入卷积下采样网络，得到不同分辨率的图像；2)将不同分辨率的图像分别输入语义特征提取支路和跨层连接支路，分别得到深层特征和浅层特征；3)对深层特征和浅层特征分别进行重要性区分后，进行特征跨层融合；4)将融合后的特征图进行分类重组并上采样后，输出语义分割结果。2.根据权利要求1所述的一种轻量化的多分支特征跨层融合图像语义分割方法，其特征在于，所述的卷积下采样网络包括三层，其中第一层为标准卷积，第二层和第三层均为深度可分离卷积，所述的第二层深度可分离卷积输出第一分辨率图像，所述的第三层深度可分离卷积输出第二分辨率图像，所述的第二分辨率图像分别输入语义特征提取支路和跨层连接支路，所述的第一分辨率图像输入跨层连接支路。3.根据权利要求2所述的一种轻量化的多分支特征跨层融合图像语义分割方法，其特征在于，所述的语义特征提取支路用于提取语义特征，包括三组线性瓶颈残差块和金字塔池化层，其数据处理步骤具体包括：201)所述的三组线性瓶颈残差块对第二分辨率图像进行下采样，并从中提取深层特征；202)所述的金字塔池化层利用不同尺寸池化核得到大小不同的特征层，并学习不同尺度特征；203)经过对应的上采样倍数，输出第三分辨率大小的深层特征。4.根据权利要求1所述的一种轻量化的多分支特征跨层融合图像语义分割方法，其特征在于，所述的重要性区分通过SE模块实现，具体包括：301)进行全局平均池化，得到具有全局感受野的特征图；302)使用全连接神经网络对步骤301)输出的结果做非线性变换；303)使用步骤302)输出的结果作为权重，分别乘到深层特征和浅层特征的每个通道上。5.根据权利要求3所述的一种轻量化的多分支特征跨层融合图像语义分割方法，其特征在于，所述的跨层连接支路用于恢复物体空间位置，包括第一分辨率支路、第二分辨率支路和第三分辨率支路，所述的第一分辨率图像输入第一分辨率支路，所述的第二分辨率图像分别输入第二分辨率支路和第三分辨率支路，所述的第一分辨率支路、第二分辨率支路和第三分辨率支路分别输出第一分辨率大小的浅层特征、第二分辨率大小的浅层特征和第三分辨率大小的浅层特征。6.根据权利要求1所述的一种轻量化的多分支特征跨层融合图像语义分割方法，其特征在于，所述的特征跨层融合的融合方式为：将深层特征和浅层特征相加。7.根据权利要求5所述的一种轻量化的多分支特征跨层融合图像语义分割方法，其特征在于，所述的特征跨层融合具体包括：311)将第三分辨率大小的深层特征与第三分辨率大小的浅层特征相加融合，得到第一融合特征；312)将第一融合特征通过上采样得到第二分辨率大小的第一融合特征；313)将第二分辨率大小的第一融合特征与第二分辨率大小的浅层特征相加融合，得到2CN112163449A权利要求书2/2页第二融合特征；314)将第二融合特征通过上采样得到第一分辨率大小的第二融合特征；315)将第一分辨率大小的第二融合特征与第一分辨率大小的浅层特征相加融合，得到第三融合特征。8.根据权利要求7所述的一种轻量化的多分支特征跨层融合图像语义分割方法，其特征在于，所述的步骤4)具体包括：41)利用分类器将第三融合特征进行分类重组，得到分类重组特征图；42)对分类重组特征图进行两次卷积上采样后恢复至原始图像大小