图像处理方法、图像处理装置、电子设备和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113421335A(43)申请公布日2021.09.21(21)申请号202110827883.3(22)申请日2021.07.21(71)申请人北京百度网讯科技有限公司地址100085北京市海淀区上地十街10号百度大厦2层(72)发明人王迪(74)专利代理机构中科专利商标代理有限责任公司11021代理人吴晓兵(51)Int.Cl.G06T17/00(2006.01)G06T15/00(2011.01)权利要求书2页说明书7页附图5页(54)发明名称图像处理方法、图像处理装置、电子设备和存储介质(57)摘要本公开公开了一种图像处理方法、图像处理装置、电子设备和存储介质，涉及增强现实、深度学习和图像处理等人工智能技术领域，尤其涉及人脸重建领域。具体实现方案为：基于输入图像，确定关于对象的形状参数、纹理参数和静态皱纹参数；使用形状参数重建关于对象的粗重建形状，并使用纹理参数计算关于对象的粗重建纹理图；基于静态皱纹参数、形状参数和纹理参数，确定精重建形状和精重建纹理图；以及基于粗重建形状、粗重建纹理图、精重建形状和精重建纹理图执行渲染处理，得到针对输入图像的粗重建图像和精重建图像。CN113421335ACN113421335A权利要求书1/2页1.一种图像处理方法，包括：基于输入图像，确定关于对象的形状参数、纹理参数和静态皱纹参数；使用所述形状参数重建关于所述对象的粗重建形状，并使用所述纹理参数计算关于所述对象的粗重建纹理图；基于所述静态皱纹参数、所述形状参数和所述纹理参数，确定精重建形状和精重建纹理图；以及基于所述粗重建形状、所述粗重建纹理图、所述精重建形状和所述精重建纹理图执行渲染处理，得到针对所述输入图像的粗重建图像和精重建图像。2.根据权利要求1所述的方法，其中，所述形状参数包括位姿参数和表情参数，并且所述纹理参数包括光照参数、反照率参数和图像采集装置参数。3.根据权利要求1所述的方法，其中，所述确定精重建形状和精重建纹理图包括：根据所述静态皱纹参数和所述形状参数，确定关于所述粗重建纹理图的偏移图；根据所述偏移图和所述粗重建纹理图确定所述精重建纹理图；以及通过对所述粗重建形状进行插值处理并将所述精重建纹理图与经插值处理的粗重建形状相结合来获得所述精重建形状。4.根据权利要求1所述的方法，其中，所述确定关于对象的形状参数、纹理参数和静态皱纹参数包括：使用第一卷积神经网络处理所述输入图像以确定所述形状参数和所述纹理参数。5.根据权利要求4所述的方法，其中，所述确定关于对象的形状参数、纹理参数和静态皱纹参数还包括：使用第二卷积神经网络处理所述输入图像以确定所述静态皱纹参数。6.根据权利要求1所述的方法，还包括：在确定所述形状参数和所述纹理参数以及所述静态皱纹参数之前，对所述输入图像执行以下处理中的至少一个：对象识别和图像配准。7.根据权利要求1所述的方法，其中，所述使用所述形状参数重建关于所述对象的粗重建形状包括：将所述形状参数输入预定重建模型以获得所述粗重建形状。8.根据权利要求1所述的方法，其中，所述使用所述纹理参数计算关于所述对象的粗重建纹理图包括：通过法线贴图来根据所述纹理参数获得所述粗重建纹理图。9.一种图像处理装置，包括：参数确定模块，用于基于输入图像确定关于对象的形状参数、纹理参数和静态皱纹参数；粗重建模块，用于使用所述形状参数重建关于所述对象的粗重建形状，并使用所述纹理参数计算关于所述对象的粗重建纹理图；精重建模块，用于基于所述静态皱纹参数、所述形状参数和所述纹理参数确定精重建形状和精重建纹理图；以及渲染模块，用于基于所述粗重建形状、所述粗重建纹理图、所述精重建形状和所述精重建纹理图执行渲染处理，得到针对所述输入图像的粗重建图像和精重建图像。10.根据权利要求9所述的装置，其中，所述精重建模块包括：2CN113421335A权利要求书2/2页偏移图确定单元，用于根据所述静态皱纹参数和所述形状参数，确定关于所述粗重建纹理图的偏移图；精重建纹理图确定单元，用于根据所述偏移图和所述粗重建纹理图确定所述精重建纹理图；以及精重建形状获得单元，用于通过对所述粗重建形状进行插值处理并将所述精重建纹理图与经插值处理的粗重建形状相结合来获得所述精重建形状。11.根据权利要求9所述的装置，其中，所述参数确定模块包括：形状和纹理参数确定单元，用于使用第一卷积神经网络处理所述输入图像以确定所述形状参数和所述纹理参数；以及静态皱纹参数确定单元，用于使用第二卷积神经网络处理所述输入图像以确定所述静态皱纹参数。12.根据权利要求9所述的装置，其中，所述粗重建模块包括：粗重建形状获得单元，用于将所述形状参数输入预定重建模型以获得所述粗重建形状；以及粗重建纹理图获得单