图像生成方法、装置、电子设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114170349A(43)申请公布日2022.03.11(21)申请号202010947268.1(22)申请日2020.09.10(71)申请人北京达佳互联信息技术有限公司地址100085北京市海淀区上地西路6号1幢1层101D1-7(72)发明人安世杰张渊郑文(74)专利代理机构北京三高永信知识产权代理有限责任公司11138代理人宁立存(51)Int.Cl.G06T11/40(2006.01)G06T17/00(2006.01)G06T3/60(2006.01)权利要求书3页说明书22页附图8页(54)发明名称图像生成方法、装置、电子设备及存储介质(57)摘要本公开提供了一种图像生成方法、装置、电子设备及存储介质，涉及图像处理技术领域。方法包括：确定第一图像中第一图像区域的第一深度信息和第二图像区域的第二深度信息，第一图像区域为目标对象所在的图像区域，第二图像区域为除目标对象以外的背景图像所在的区域；根据第二图像区域的图像数据，替换第一图像区域的图像数据，得到第二图像；对第二图像中的第三图像区域进行深度填充，得到第三图像区域的第三深度信息；根据第一深度信息和第三深度信息，将第一图像区域中的图像数据融合至深度填充后的第二图像中，得到第三图像。这样，在视角变换时，能够填补背景空洞的，防止目标对象的边界处出现扭曲或缺失，优化生成的三维图像的图像效果。CN114170349ACN114170349A权利要求书1/3页1.一种图像生成方法，其特征在于，所述方法包括：确定第一图像中第一图像区域的第一深度信息和第二图像区域的第二深度信息，所述第一图像区域为目标对象所在的图像区域，所述第二图像区域为所述第一图像中除所述目标对象以外的背景图像所在的区域；根据所述第二图像区域的图像数据，替换所述第一图像中的第一图像区域的图像数据，得到第二图像；根据所述第二深度信息，对所述第二图像中的第三图像区域进行深度填充，得到所述第三图像区域的第三深度信息，所述第三图像区域为与所述第一图像区域对应的图像区域；根据所述第一深度信息和所述第三深度信息，将所述第一图像区域中的图像数据融合至深度填充后的所述第二图像中，得到第三图像。2.根据权利要求1所述的方法，其特征在于，所述根据所述第一深度信息和所述第三深度信息，将所述第一图像区域中的图像数据融合至深度填充后的所述第二图像中，得到第三图像，包括：基于所述第一图像区域的图像数据创建第一三维模型，所述第一三维模型为所述目标对象对应的三维模型；基于深度填充后的所述第二图像创建第二三维模型，所述第二三维模型为所述背景图像对应的三维模型；基于所述第一深度信息和所述第三深度信息，将所述第一三维模型和所述第二三维模型对应的像素信息进行融合，得到所述第三图像，其中，所述第一三维模型对应的像素点在所述第三图像中映射的深度信息为所述第一深度信息，所述第二三维模型对应的像素点在所述第三图像中映射的深度信息为所述第三深度信息。3.根据权利要求2所述的方法，其特征在于，所述基于所述第一深度信息和所述第三深度信息，将所述第一三维模型和所述第二三维模型的像素信息进行融合，得到所述第三图像，包括：从所述第一三维模型中确定所述目标对象的每个像素点的深度信息，所述每个像素点的深度信息以所述目标对象的目标关键点的深度信息为基准，所述目标关键点为所述目标对象的任一关键点；确定所述目标对象的目标关键点在所述第二三维模型中对应的目标像素点；将所述目标关键点的像素信息和所述目标关键点对应的第一深度信息赋值给所述目标像素点；根据所述目标关键点与所述目标对象中其他像素点的位置关系，确定所述目标对象中其他像素点在所述第二三维模型中对应的像素位置；将所述第一三维模型中，其他像素点的像素信息和所述其他像素点对应的第三深度信息赋值给所述将第二三维模型中对应的像素位置的像素点，得到第三图像。4.根据权利要求1所述的方法，其特征在于，所述根据所述第二图像区域的图像数据，替换所述第一图像中的第一图像区域的图像数据，得到第二图像，包括：通过图像分割模型对所述第一图像进行图像分割，确定所述第一图像区域对应的区域轮廓；2CN114170349A权利要求书2/3页去除所述第一图像中所述区域轮廓内的所述第一图像区域对应的图像数据；将所述第二图像区域的图像数据输入至图像补全模型，得到所述第二图像，所述图像补全模型用于对所述第一图像区域的像素值进行背景填充。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取多个第一图像集合，每个第一图像集合对应一个图像类别；对于每个第一图像集合，根据第一数量和第二数量，确定所述第一图像集合的采样权重，所述第一数量为第一图像集合中包括的样本图像的数量，所述第二数量为