抠像处理方法、装置、电子设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113657402A(43)申请公布日2021.11.16(21)申请号202111212067.8(22)申请日2021.10.18(71)申请人北京市商汤科技开发有限公司地址100080北京市海淀区北四环西路58号11层1101-1117室(72)发明人程俊奇四建楼钱晨(74)专利代理机构北京博思佳知识产权代理有限公司11415代理人靳玫(51)Int.Cl.G06K9/34(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)权利要求书3页说明书15页附图6页(54)发明名称抠像处理方法、装置、电子设备及存储介质(57)摘要本公开实施例提供一种抠像处理方法、装置、电子设备及存储介质，其中方法包括：对待处理的目标图像进行语义分割处理，得到对应目标图像的语义概率图，所述语义概率图包括：所述目标图像中的每个像素属于目标对象的第一概率，所述目标对象是所述目标图像中的前景或者背景；基于所述语义概率图进行概率转换处理，得到三分图，所述三分图中每个像素对应的数值表示所述像素在目标图像中属于确定前景、确定背景或待确定区域中的任一区域的概率；根据所述三分图和所述目标图像进行抠像处理，得到抠像结果。CN113657402ACN113657402A权利要求书1/3页1.一种抠像处理方法，其特征在于，所述方法包括：对待处理的目标图像进行语义分割处理，得到对应目标图像的语义概率图，所述语义概率图包括：所述目标图像中的每个像素属于目标对象的第一概率，所述目标对象是所述目标图像中的前景或者背景；基于所述语义概率图进行概率转换处理，得到三分图，所述三分图中每个像素对应的数值表示所述像素在目标图像中属于确定前景、确定背景或待确定区域中的任一区域的概率；根据所述三分图和所述目标图像进行抠像处理，得到抠像结果。2.根据权利要求1所述的方法，其特征在于，所述对待处理的目标图像进行语义分割处理，得到对应目标图像的语义概率图，包括：通过语义分割网络对所述目标图像进行语义分割处理，得到所述语义分割网络输出的所述语义概率图；所述根据三分图和目标图像进行抠像处理，包括：通过抠像网络，根据所述三分图和目标图像进行抠像处理。3.根据权利要求2所述的方法，其特征在于，所述抠像网络是经过通道压缩的网络，所述通道压缩是对所述抠像网络的网络中间特征的通道数量进行压缩。4.根据权利要求1所述的方法，其特征在于，所述基于所述语义概率图进行概率转换处理，得到三分图，包括：将所述语义概率图中的每个像素的第一概率，通过概率转换，得到所述像素属于所述三分图中待确定区域的第二概率；根据所述像素的第一概率和第二概率，生成所述三分图。5.根据权利要求4所述的方法，其特征在于，所述第一概率表征所述像素属于前景或者背景的概率越高，经概率转换得到的所述第二概率表征所述像素属于三分图中的待确定区域的概率越低；所述根据所述像素的第一概率和第二概率，生成所述三分图，包括：对于所述目标图像中的每个像素，根据所述像素对应的第一概率和第二概率进行概率融合，确定所述像素在所述三分图中对应的数值。6.根据权利要求4所述的方法，其特征在于，所述将所述语义概率图中的每个像素的第一概率，通过概率转换，得到所述像素属于所述三分图中待确定区域的第二概率，包括：通过多项式拟合的方式，将所述像素的第一概率，拟合得到所述像素属于所述三分图中的待确定区域的第二概率。7.根据权利要求1所述的方法，其特征在于，所述基于所述语义概率图进行概率转换处理，得到三分图之前，所述方法还包括：对所述语义概率图进行池化处理，得到池化后的语义概率图；所述基于所述语义概率图进行概率转换处理，包括：对所述池化后的语义概率图进行概率转换处理。8.根据权利要求1所述的方法，其特征在于，所述对待处理的目标图像进行语义分割处理之前，所述方法还包括：2CN113657402A权利要求书2/3页基于语义分割网络对目标图像的下采样倍数，将所述目标图像的图像尺寸进行下采样倍数的整数倍处理，以使所述整数倍处理后的图像尺寸能够整除所述下采样倍数。9.根据权利要求1所述的方法，其特征在于，所述根据所述三分图和所述目标图像进行抠像处理，得到抠像结果，包括：根据所述三分图和所述目标图像进行抠像处理，得到对象残差和所述目标图像的初始透明度；基于所述目标图像和对象残差，得到所述目标图像中的目标对象；根据所述初始透明度和所述三分图，确定所述目标图像的透明度。10.根据权利要求9所述的方法，其特征在于，在所述对待处理的目标图像进行语义分割处理之前，所述方法还包括：对所述目标图像进行缩放处理；所述基于目标图像和对象残差，得到所述目标图像中的目标对象，包括：将根据所述三分图和所述目标图像进行