语义分割方法、装置和系统及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108876793A(43)申请公布日2018.11.23(21)申请号201810333109.5(22)申请日2018.04.13(71)申请人北京迈格威科技有限公司地址100190北京市海淀区科学院南路2号A座316-318(72)发明人章圳黎张祥雨彭超(74)专利代理机构北京睿邦知识产权代理事务所(普通合伙)11481代理人徐丁峰戴亚南(51)Int.Cl.G06T7/11(2017.01)G06K9/62(2006.01)权利要求书2页说明书17页附图8页(54)发明名称语义分割方法、装置和系统及存储介质(57)摘要本发明实施例提供一种语义分割方法、装置和系统以及存储介质。该方法包括：获取待处理图像；将待处理图像输入U型网络，以获得U型网络输出的待处理图像的语义分割结果，其中，U型网络的扩张路径包括至少一个上采样模块，在至少一个上采样模块的每一个中，将输入特征中分别位于p个通道上的同一位置处的p个元素变换为同一通道上的相邻的p个元素，以获得变换后的特征，并将变换后的特征输入后续网络结构，其中，n是大于1的整数，1≤i＜n。上述方法可获得更准确的语义分割结果。CN108876793ACN108876793A权利要求书1/2页1.一种语义分割方法，包括：获取待处理图像；将所述待处理图像输入U型网络，以获得所述U型网络输出的所述待处理图像的语义分割结果，其中，所述U型网络的扩张路径包括至少一个上采样模块，在所述至少一个上采样模块的每一个中，将输入特征中分别位于p个通道上的同一位置处的p个元素变换为同一通道上的相邻的p个元素，以获得变换后的特征，并将所述变换后的特征输入后续网络结构，其中，n是大于1的整数，1≤i＜n。2.如权利要求1所述的方法，其中，所述U型网络的收缩路径包括依次连接的n个卷积模块，所述将所述待处理图像输入U型网络，以获得所述U型网络输出的所述待处理图像的语义分割结果包括：将所述待处理图像输入所述n个卷积模块中的第一个卷积模块；对于所述n个卷积模块中的第m个至第n个卷积模块中的至少一个卷积模块中的每一个，将该卷积模块的输出特征输入至该卷积模块对应的跳跃连接模块；将所述跳跃连接模块的输出特征输入至该卷积模块对应的上采样模块以获得所述变换后的特征，或将所述跳跃连接模块的输出特征输入至该卷积模块对应的合并模块以获得合并后的特征，并将所述合并后的特征输入至该卷积模块对应的上采样模块以获得所述变换后的特征，其中，该卷积模块对应的上采样模块为所述至少一个上采样模块之一；将所述变换后的特征输入在该卷积模块之前的上一卷积模块所对应的合并模块，在所述合并模块中，将所述变换后的特征与在该卷积模块之前的上一卷积模块所对应的跳跃连接模块的输出特征进行合并，并将合并后的特征输入后续网络结构，所述后续网络结构用于输出所述待处理图像的语义分割结果，其中，n是大于1的整数，1＜m＜n，p是大于1的整数。3.如权利要求2所述的方法，其中，所述方法还包括：获取训练图像以及对应的分割标注数据，所述分割标注数据用于指示所述训练图像中的每个像素属于至少一个预定类别的概率；将所述训练图像输入所述U型网络；对于所述至少一个卷积模块中的每一个，将该卷积模块对应的上采样模块的输出特征输入到该卷积模块对应的辅助监督模块，以获得所述辅助监督模块输出的所述训练图像的语义分割结果；基于所述训练图像的语义分割结果与所述分割标注数据计算该卷积模块对应的分类损失；基于所述至少一个卷积模块对应的分类损失计算总的损失；基于所述总的损失优化所述U型网络，以获得经训练的所述U型网络。4.如权利要求3所述的方法，其中，所述辅助监督模块包括依次连接的大小调整模块、通道调整模块和第一分类函数层，其中，所述大小调整模块用于将所述上采样模块的输出特征的大小调整到与所述训练图像的大小一致，所述通道调整模块用于将所述大小调整模块的输出特征的通道数调整到预定数目，所述第一分类函数层用于基于所述通道调整模块的输出特征预测所述训练图像中的2CN108876793A权利要求书2/2页每个像素属于所述至少一个预定类别的概率。5.如权利要求4所述的方法，其中，所述大小调整模块包括至少一个卷积层和/或至少一个池化层，和/或所述通道调整模块包括至少一个卷积层。6.如权利要求2所述的方法，其中，对于所述至少一个卷积模块中的每一个，该卷积模块对应的后续网络结构包括至少一个反卷积模块、在最后一个反卷积模块之后依次连接的密集邻近预测模块和第二分类函数层，其中，所述最后一个反卷积模块的输出特征的通道划分为k*k组，每个组中的第q个通道用于预测同一类别，其中，k为大于1的整数，q为大于0的整数；所述密集邻近预测模块用于对所述最后一个反卷积模块