图像语义分割方法、装置、电子设备和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113989511A(43)申请公布日2022.01.28(21)申请号202111627261.2(22)申请日2021.12.29(71)申请人中科视语（北京）科技有限公司地址102300北京市门头沟区石龙经济开发区永安路20号3号楼A-6193室(72)发明人王金桥陈盈盈朱炳科台琰(74)专利代理机构北京路浩知识产权代理有限公司11002代理人乔慧(51)Int.Cl.G06V10/26(2022.01)G06V10/80(2022.01)G06V20/70(2022.01)权利要求书2页说明书10页附图3页(54)发明名称图像语义分割方法、装置、电子设备和存储介质(57)摘要本发明提供一种图像语义分割方法、装置、电子设备和存储介质，所述方法包括：确定待分割的目标图像；基于目标图像的图像特征，对目标图像进行语义分割，得到目标图像中各像素的语义特征，并基于各像素的语义特征确定目标图像的全局分割结果；基于图像特征以及各像素的语义特征，确定目标图像中各切块图像的语义特征，并基于各切块图像的语义特征确定目标图像的局部分割结果；基于全局分割结果，以及局部分割结果，确定目标图像的语义分割结果。本发明提供的图像语义分割方法、装置、电子设备和存储介质，能够进一步提高图像语义分割的精度。CN113989511ACN113989511A权利要求书1/2页1.一种图像语义分割方法，其特征在于，包括：确定待分割的目标图像；基于所述目标图像的图像特征，对所述目标图像进行语义分割，得到所述目标图像中各像素的语义特征，并基于各像素的语义特征确定所述目标图像的全局分割结果；基于所述图像特征以及各像素的语义特征，确定所述目标图像中各切块图像的语义特征，并基于各切块图像的语义特征确定所述目标图像的局部分割结果；基于所述全局分割结果，以及所述局部分割结果，确定所述目标图像的语义分割结果。2.根据权利要求1所述的图像语义分割方法，其特征在于，所述基于所述图像特征以及各像素的语义特征，确定所述目标图像中各切块图像的语义特征，包括：基于所述图像特征以及各像素的语义特征，确定所述目标图像中各切块图像的初始语义特征；对各切块图像的初始语义特征进行注意力计算，得到各切块图像的语义特征。3.根据权利要求1所述的图像语义分割方法，其特征在于，所述基于所述全局分割结果，以及所述局部分割结果，确定所述目标图像的语义分割结果，包括：在所述全局分割结果中存在任一切块图像的分割结果与对应的局部分割结果不同时，基于对应切块图像的语义特征以及所述图像特征，确定对应切块图像的校正语义特征；基于所述校正语义特征，更新所述目标图像中对应像素的语义特征，并基于更新后的各像素语义特征确定所述目标图像的语义分割结果。4.根据权利要求3所述的图像语义分割方法，其特征在于，所述基于对应切块图像的语义特征以及所述图像特征，确定对应切块图像的校正语义特征，包括：对所述图像特征进行下采样至与当前切块图像的语义特征尺寸相同，基于下采样后的图像特征和所述当前切块图像的语义特征，确定下一切块图像的语义特征；按照预设规则逐级对所述下一切块图像的语义特征进行上采样，并以每次上采样后的下一切块图像的语义特征作为所述当前切块图像的语义特征，直至所述下一切块图像的语义特征尺寸与所述目标图像中对应切块图像特征尺寸相同时，将所述下一切块图像的语义特征作为所述校正语义特征。5.根据权利要求4所述的图像语义分割方法，其特征在于，所述基于下采样后的图像特征和所述当前切块图像的语义特征，确定下一切块图像的语义特征，包括：对下采样后的图像特征和所述当前切块图像的语义特征进行注意力计算，得到所述下一切块图像的语义特征。6.根据权利要求1至5任一项所述的图像语义分割方法，其特征在于，所述目标图像的图像特征是基于如下步骤确定的：提取所述目标图像的多个不同尺度特征；基于各不同尺度特征中的语义信息，对各尺度特征进行融合，得到所述目标图像的图像特征。7.根据权利要求1至5任一项所述的图像语义分割方法，其特征在于，所述基于各像素的语义特征确定所述目标图像的全局分割结果，包括：对各像素的语义特征进行独热编码处理，并基于独热编码处理后的各像素语义特征确定所述全局分割结果；2CN113989511A权利要求书2/2页所述基于各切块图像的语义特征确定所述目标图像的局部分割结果，包括：对各切块图像的语义特征进行独热编码处理，并基于独热编码处理后的各切块图像的语义特征确定所述局部分割结果。8.一种图像语义分割装置，其特征在于，包括：图像确定单元，用于确定待分割的目标图像；全局分割单元，用于基于所述目标图像的图像特征，对所述目标图像进行语义分割，得到所述目标图像中各像素的语义特征，并基于各