一种基于深度学习的超像素分割方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112419325A(43)申请公布日2021.02.26(21)申请号202011360361.9(22)申请日2020.11.27(71)申请人北京工业大学地址100124北京市朝阳区平乐园100号(72)发明人马伟李鹏(74)专利代理机构北京思海天达知识产权代理有限公司11203代理人张慧(51)Int.Cl.G06T7/10(2017.01)权利要求书1页说明书6页附图6页(54)发明名称一种基于深度学习的超像素分割方法(57)摘要本发明公开了一种基于深度学习的超像素分割方法，具体包括针对编码器部分的网络过参数化、网络剪枝和解码器部分的TPT(Top‑down‑top)解码结构，本发明基于深度学习并具备端到端学习能力，具备与其他视觉任务更充分的融合能力，进而可以促进其它视觉任务的快速发展。该发明的方法步骤大体分为三个阶段：网络搜索策略中的网络过参数化阶段；网络搜索策略中的网络剪枝阶段；网络解码能力强化并重新训练阶段。本发明在编码器特征提取过程中的边界捕捉能力和解码器超像素分割过程中的结构保留能力均有提升，能有效减少错分割现象的出现，同时其在网络过参数化、网络剪枝和TPT解码器结构设计上具有很好的可解释性，并且其方法计算效率高，超像素分割速度可以达到实时。CN112419325ACN112419325A权利要求书1/1页1.一种基于深度学习的超像素分割方法，其特征在于包含以下步骤：S1:网络模型初始化：首先选用U型编解码网络结构作为初始网络，所述的U型编解码网络结构由编码器和解码器两部分构成，并且在编码器和解码器相同尺度位置处包括跨层连接；S2：网络模型过参数化：设计多分支特征提取模块，对初始网络编码器中任意层数的特征提取层进行替换，实现网络模型过参数化；其中，所述的多分支特征提取模块为并行的多分支结构，该模块的输入与输出不要求为相同尺寸，其中不同分支由不同结构的卷积神经网络构成，每一分支的输入彼此相同，每一分支的输出尺寸彼此相同，并且每一分支具备一个初始化的可学习权重，不同分支的输出通过各自分支的可学习权重进行逐元素相加，后接批归一化和激活函数，进而构成并行的多分支特征提取结构；S3：网络剪枝：对通过利用多分支特征提取模块替换初始网络编码器中任意层数的特征提取层得到的过参数化网络进行训练，至损失函数曲线趋于平缓时停止训练，利用网络剪枝策略对训练完成的网络模型完成过参数化网络剪枝，得到针对超像素分割任务的编码器；其中，所述的网络剪枝策略为针对多分支特征提取模块中的每一分支，当该分支训练得到的对应的可学习权重小于设定的阈值时，剪去该分支，反之保留该分支，当所有分支权重均小于阈值时，仅保留权值最大的分支；S4：在网络剪枝之后的解码器结构上添加跨层特征融合，实现由上至下，再由下至上的解码结构，其强化后的解码器简称为TDT(Top-down-top)解码器。所述的跨层特征融合位于U型编解码网络由上至下解码阶段之后，用于实现由微至广的跨尺度特征融合，进而提升原尺度特征图质量，其跨尺度特征融合过程为由下至上的解码结构。所述的跨尺度特征融合具体操作为：在U型编解码网络原有框架下，将解码器前端大感受野下的任意一层的输出特征进行上采样后，与解码器后端原尺度网络层的输出特征进行拼接并后接卷积操作，实现两层间跨尺度的信息融合，实现网络解码强化，并后接卷积和Softmax激活函数，进而实现基于概率形式的超像素分割结果计算。通过串联U型编解码网络由上至下的解码结构和跨尺度特征融合由下至上的解码结构，实现了由上至下，再由下至上的TDT解码器整体解码结构的构建；S5：对解码强化后的网络进行训练，并利用训练完成的网络对图像进行超像素分割。2.根据权利要求1所述的一种基于深度学习的超像素分割方法，其特征在于：步骤S3中所述阈值λ的取值范围为[0.85w,0.95w]，其中w为初始化权重。3.根据权利要求1所述的一种基于深度学习的超像素分割方法，其特征在于：所述的U型编解码网络为SpixelFCN编解码网络。2CN112419325A说明书1/6页一种基于深度学习的超像素分割方法技术领域[0001]本发明属于图像处理与计算机视觉技术领域，涉及一种基于深度学习的超像素分割方法。背景技术[0002]超像素分割是一种图像过分割技术，它依据图像的空间、色彩、纹理等底层特征将图像快速分割为具有一定数量的子区域，相比于传统方法中的基本图像处理单元——像素，超像素更有利于局部特征的提取和结构信息的表达，并且可以大幅降低后续视觉任务的计算代价，该技术是计算机视觉研究中的一个重要课题。超像素分割技术在语义分割、光流计算、深度估计等需要获取准确目标边界和具备实时性要求的计算机视觉任务上普遍应用。[0