用于生成头像的介质、系统和方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114255316A(43)申请公布日2022.03.29(21)申请号202011023458.0(22)申请日2020.09.25(71)申请人苹果公司地址美国加利福尼亚(72)发明人A·P·梅森O·索尔斯H-P·杜依科J·S·麦卡滕(74)专利代理机构中国贸促会专利商标事务所有限公司11038代理人邹丹(51)Int.Cl.G06T15/60(2006.01)G06T15/80(2011.01)G06T15/04(2011.01)G06T11/00(2006.01)G06N20/00(2019.01)权利要求书3页说明书15页附图8页(54)发明名称用于生成头像的介质、系统和方法(57)摘要本公开涉及用于生成头像的介质、系统和方法。在所选择的环境中渲染头像可包括确定要由头像、头部姿态和相机角度表示的表情几何结构以及用于所选择的环境的照明表示作为到推断着色网络中的输入。推断着色网络然后可生成要用于渲染头像的面部纹理。照明表示可作为从环境自动编码器获得的照明潜变量来获得，该环境自动编码器训练具有各种照明条件的环境图像。CN114255316ACN114255316A权利要求书1/3页1.一种非暂态计算机可读介质，包括能够由一个或多个处理器执行以进行下述操作的计算机可读指令：接收环境的照明的压缩表示；从相机获得对象的图像；基于所述图像确定所述对象的姿态；确定所述对象的几何表示；将所述照明的所述压缩表示、所述对象的所述姿态和所述几何表示输入到推断着色网络中；基于所述输入从所述推断着色网络来获得纹理图，所述纹理图表示所述环境的所述照明中的所述对象的面部的纹理；以及基于所述对象的所述几何表示和所述纹理图来渲染所述对象的头像。2.根据权利要求1所述的非暂态计算机可读介质，其中所述推断着色网络包括照明编码器和纹理解码器。3.根据权利要求2所述的非暂态计算机可读介质，其中所述照明编码器将所述输入转换成纹理潜像，并且其中所述纹理解码器从所述纹理潜像生成所述纹理图。4.根据权利要求1所述的非暂态计算机可读介质，还包括用于以下操作的计算机可读代码：获得多个环境图图像；以及基于所述环境图图像来训练环境自动编码器，其中经训练的环境自动编码器产生一组照明潜像，所述一组照明潜像表示进入所述经训练的环境自动编码器的输入场景的图像的照明。5.根据权利要求1‑4中任一项所述的非暂态计算机可读介质，其中用于渲染所述头像的所述计算机可读代码还包括用于以下操作的计算机可读代码：获得所述对象的网格表示；以及将所述纹理图应用于所述网格表示。6.根据权利要求1‑4中任一项所述的非暂态计算机可读介质，其中所述压缩表示包括所述场景中的照明和颜色的压缩表示。7.根据权利要求1‑4中任一项所述的非暂态计算机可读介质，其中所述压缩表示包括选自包括以下各项的组中的至少一者：所述场景的球谐函数系数、球高斯和球小波。8.一种用于生成头像的系统，包括：一个或多个处理器；以及非暂态计算机可读介质，包括能够由所述一个或多个处理器执行以进行下述操作的计算机可读指令：接收环境的照明的压缩表示；从相机获得捕获用户的图像；基于所述图像确定所述用户的头部姿态和所述相机的相机角度；确定表示所述用户的几何结构的一组网格潜像；将所述照明的所述压缩表示、所述头部姿态、所述相机角度和所述网格潜像输入到推断着色网络中；2CN114255316A权利要求书2/3页基于所述输入获得纹理图，所述纹理图表示所述用户的面部在所述环境的所述照明中的纹理；以及基于所述纹理图渲染头像。9.根据权利要求8所述的系统，其中所述推断着色网络包括照明编码器和纹理解码器。10.根据权利要求9所述的系统，其中所述照明编码器将所述输入转换为纹理潜像，并且其中所述纹理解码器从所述纹理潜像生成所述纹理图。11.根据权利要求8所述的系统，还包括计算机可读指令，所述计算机可读指令能够由所述一个或多个处理器执行以：获得多个环境图像；以及基于所述环境图像来训练环境自动编码器，其中经训练的环境自动编码器提供一组照明潜像，所述一组照明潜像表示进入所述经训练的环境自动编码器的输入场景的图像的照明。12.根据权利要求8‑11中任一项所述的系统，其中能够由所述一个或多个处理器执行的所述计算机可读指令还包括用于以下操作的计算机可读指令：获得所述用户的网格表示；以及将所述纹理图应用于所述网格表示。13.根据权利要求11所述的系统，其中所述压缩表示包括所述场景中的照明和颜色的压缩表示。14.根据权利要求8‑11中任一项所述的系统，其中所述压缩表示包括所述场景的球谐函数系数。15.一种用于生成头像的方法，包括：接收环境的照明的压缩表示；从相机获得捕获用户的图像；基于所述图像确定所述用户的头部姿态