图像处理方法、设备、存储介质及程序产品.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113689372A(43)申请公布日2021.11.23(21)申请号202110988785.8(22)申请日2021.08.26(71)申请人北京字节跳动网络技术有限公司地址100041北京市石景山区实兴大街30号院3号楼2层B-0035房间(72)发明人杜绪晗张启军刘鑫程京吴泽寰焦少慧(74)专利代理机构上海光栅知识产权代理有限公司31340代理人乔慧马雯雯(51)Int.Cl.G06T5/50(2006.01)G06T7/194(2017.01)G06K9/62(2006.01)G06N3/04(2006.01)权利要求书2页说明书17页附图6页(54)发明名称图像处理方法、设备、存储介质及程序产品(57)摘要本公开实施例提供一种图像处理方法、设备、存储介质及程序产品，通过获取包含目标对象的待处理图像；将待处理图像输入蒙版处理模型，蒙版处理模型包括编码网络、解码网络及输出网络，以通过编码网络对待处理图像提取编码特征，通过解码网络根据编码特征重构前景特征图及背景特征图，通过输出网络根据前景特征图和背景特征图确定待处理图像对应的前景蒙版；根据前景蒙版对待处理图像进行背景替换。本公开实施例中通过蒙版处理模型准确的提取待处理的编码特征，进而有效的重构前景特征和背景特征，可有效的提高前景蒙版的准确度，从而在根据前景蒙版对待处理图像进行背景替换后，可得到较高质量的图像，满足用户的审美需求。CN113689372ACN113689372A权利要求书1/2页1.一种图像处理方法，其特征在于，包括：获取包含目标对象的待处理图像；将所述待处理图像输入蒙版处理模型，所述蒙版处理模型包括编码网络、解码网络及输出网络，以通过编码网络对待处理图像提取编码特征，通过解码网络根据编码特征重构前景特征图及背景特征图，通过输出网络根据所述前景特征图和所述背景特征图确定所述待处理图像对应的前景蒙版；根据所述前景蒙版对所述待处理图像进行背景替换。2.根据权利要求1所述的方法，其特征在于，所述获取包含目标对象的待处理图像，包括：获取当前视频流，所述当前视频流包括至少一帧包含目标对象的视频帧，将包含目标对象的视频帧确定为包含目标对象的待处理图像；所述根据所述前景蒙版对所述待处理图像进行背景替换后，还包括：根据背景替换后的待处理图像更新所述当前视频流中的对应视频帧；将更新后的当前视频流发送至服务端，以由服务端下发至目标用户端。3.根据权利要求1所述的方法，其特征在于，所述蒙版处理模型通过以下训练方法训练而成，该训练方法包括：获取训练样本集合，其中，所述训练样本集合中的训练样本包括包含目标对象的样本图像以及样本图像对应的深度图；将所述训练样本集合中的训练样本输入待训练的蒙版处理模型，对蒙版处理模型的编码网络进行训练，以基于第一预设损失函数对编码网络的模型参数进行优化，其中，所述编码网络为对输入图像提取编码特征的神经网络。4.根据权利要求3所述的方法，其特征在于，所述对蒙版处理模型的编码网络进行训练，以基于第一预设损失函数对编码网络的模型参数进行优化，包括：获取所述编码网络对所述样本图像提取的编码特征；根据所述编码特征以及所述样本图像对应的深度图获取第一预设损失函数值，并根据第一预设损失函数值对所述编码网络的模型参数进行优化。5.根据权利要求4所述的方法，其特征在于，所述编码网络包括多个编码层；所述获取所述编码网络对所述样本图像提取的编码特征，包括：对于任一所述编码层，将所述样本图像下采样至目标尺寸，并经过卷积处理将图像通道数转换成1，得到所述编码层对应的编码特征，其中，不同编码层对应的目标尺寸不同；所述根据所述编码特征以及所述样本图像对应的深度图获取损失函数值，并根据第一预设损失函数值对所述编码网络的模型参数进行优化，包括：将所述样本图像对应的深度图调整至所述编码层对应的目标尺寸；根据所述编码层对应的编码特征、以及调整至所述目标尺寸后的深度图，获取第一预设损失函数值，并根据第一预设损失函数值对所述编码层的模型参数进行优化。6.根据权利要求3所述的方法，其特征在于，所述获取训练样本集合，包括：在采集样本图像时，通过深度图采集设备采集所述样本图像对应的深度图；或者将样本图像输入预设的深度估计模型，获取所述样本图像对应的深度图。7.根据权利要求3所述的方法，其特征在于，所述第一预设损失函数为最小绝对值偏2CN113689372A权利要求书2/2页差。8.根据权利要求3‑7任一项所述的方法，其特征在于，所述训练样本集合中的训练样本还包括样本图像对应的模板图像，所述模板图像包括对应前景蒙版的前景训练模板以及与所述前景训练模板对应的背景训练模板；所述方法还包括：对所述蒙版处理模型的解码网络和输出网络