图像处理和重构图像生成的方法和装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115035224A(43)申请公布日2022.09.09(21)申请号202110947157.5(22)申请日2021.08.18(30)优先权数据10-2021-00302002021.03.08KR(71)申请人三星电子株式会社地址韩国京畿道(72)发明人河仁友张现盛孙旼廷(74)专利代理机构中科专利商标代理有限责任公司11021专利代理师李敬文(51)Int.Cl.G06T15/00(2011.01)G06T15/50(2011.01)G06N3/04(2006.01)权利要求书4页说明书14页附图7页(54)发明名称图像处理和重构图像生成的方法和装置(57)摘要一种处理器实现的方法包括：使用基于神经网络的一个或多个提取模型，基于包括对象的输入图像数据来确定规范空间中的反照率数据和规范空间中的深度数据；通过将目标形状变形值分别应用于反照率数据和深度数据来生成变形的反照率数据和变形的深度数据；通过基于变形的深度数据和目标照度值执行着色来生成结果着色数据；基于结果着色数据和变形的反照率数据来生成中间图像数据；以及基于目标姿态值根据中间图像数据和变形的深度数据来生成重构的图像数据。CN115035224ACN115035224A权利要求书1/4页1.一种处理器实现的方法，所述方法包括：使用基于神经网络的一个或多个提取模型，基于包括对象的输入图像数据来确定规范空间中的反照率数据和所述规范空间中的深度数据；通过将目标形状变形值分别应用于所述反照率数据和所述深度数据来生成变形的反照率数据和变形的深度数据；通过基于所述变形的深度数据和目标照度值执行着色来生成结果着色数据；基于所述结果着色数据和所述变形的反照率数据来生成中间图像数据；以及基于目标姿态值根据所述中间图像数据和所述变形的深度数据来生成重构的图像数据。2.根据权利要求1所述的方法，其中，确定所述反照率数据和所述深度数据包括：使用基于神经网络的反照率提取模型根据所述输入图像数据来确定所述规范空间中的所述反照率数据；以及使用基于神经网络的深度提取模型根据所述输入图像数据来确定所述规范空间中的所述深度数据。3.根据权利要求1所述的方法，其中，所述规范空间中的所述反照率数据与当所述对象被变形为作为参考的规范形状时的反照率数据相对应，以及所述规范空间中的所述深度数据与当所述对象被变形为所述规范形状时的深度数据相对应。4.根据权利要求1所述的方法，其中，生成所述变形的反照率数据和所述变形的深度数据包括：基于所述目标形状变形值对所述反照率数据和所述深度数据中的每一个执行向后扭曲操作。5.根据权利要求1所述的方法，其中，生成所述结果着色数据包括：从所述变形的深度数据中提取所述对象的表面法线元素；以及通过基于所提取的表面法线元素和所述目标照度值执行着色来生成所述结果着色数据。6.根据权利要求1所述的方法，其中，生成所述结果着色数据包括：使用二阶球谐函数执行所述着色。7.根据权利要求1所述的方法，其中，生成所述重构的图像数据包括：通过基于所述目标姿态值对所述中间图像数据和所述变形的深度数据中的每一个中的对象的姿态进行变形，并且将所述对象的姿态被变形的所述中间图像数据和所述对象的姿态被变形的深度数据进行组合，来生成所述重构的图像数据。8.根据权利要求1所述的方法，其中，所述目标形状变形值、所述目标照度值和所述目标姿态值是从与所述输入图像数据不同的另一输入图像数据中提取的值，以及所述另一输入图像数据中的对象与所述输入图像数据中的所述对象相同。9.根据权利要求1所述的方法，其中，所述目标形状变形值、所述目标照度值和所述目标姿态值是从另一图像数据中提取的值，所述另一图像数据包括与所述输入图像数据中的2CN115035224A权利要求书2/4页所述对象不同的对象。10.根据权利要求1所述的方法，其中，所述目标形状变形值、所述目标照度值和所述目标姿态值是使用除所述基于神经网络的一个或多个提取模型之外的基于神经网络的提取模型从另一输入图像数据中提取的值。11.根据权利要求1所述的方法，其中，从另一图像数据中提取所述目标形状变形值、所述目标照度值和所述目标姿态值，以及通过基于所述重构的图像数据和所述另一图像数据更新所述一个或多个提取模型的参数，来训练所述一个或多个提取模型。12.一种存储指令的非暂时性计算机可读存储介质，所述指令在由处理器执行时配置所述处理器执行根据权利要求1所述的方法。13.一种电子装置，所述电子装置包括：一个或多个处理器，被配置为：使用基于神经网络的一个或多个提取模型，基于包括对象的输入图像数据来确定规范空间中的反照率数据和所述规范空间中的深度数据；通过将目标形状变形值分别应用于所述反照率数据和所述深度数据来生成变形的反照率