一种3D模型的皮肤渲染方法及设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113870404A(43)申请公布日2021.12.31(21)申请号202111115787.2G06T5/50(2006.01)(22)申请日2021.09.23G06K9/00(2006.01)(71)申请人聚好看科技股份有限公司地址266100山东省青岛市崂山区松岭路399号(72)发明人朱家林(74)专利代理机构北京同达信恒知识产权代理有限公司11291代理人刘醒晗(51)Int.Cl.G06T15/04(2011.01)G06T15/20(2011.01)G06T15/00(2011.01)G06T7/90(2017.01)G06T7/11(2017.01)权利要求书2页说明书9页附图6页(54)发明名称一种3D模型的皮肤渲染方法及设备(57)摘要本申请涉及三维重建技术领域，提供一种3D模型的皮肤渲染方法及设备。具体的，通过对实时获取的目标对象的纹理图像进行人脸检测，得到人脸纹理图像，从人脸纹理图像中提取目标对象的真实肤色，按照肤色调节规则，根据真实肤色和皮肤库中的皮肤确定目标肤色，真实肤色保留了目标对象皮肤的个性化特征，更能满足用户的个性化需求；将目标肤色迁移到3D模型的第一部分区域，使的渲染后的3D模型更加真实；通过对3D模型的原始面部图像和目标肤色生成的目标人脸图像进行前景和背景的融合，并用融合后的肤色渲染3D模型的第二部分区域，使3D模型的第一部分区域和第二部分区域皮肤的颜色过渡的更加自然、真实。CN113870404ACN113870404A权利要求书1/2页1.一种3D模型的皮肤渲染方法，其特征在于，包括：获取待渲染的目标对象的纹理图像，对所述纹理图像进行人脸检测，得到人脸纹理图像；提取所述人脸纹理图像中的肤色信息，得到所述目标对象的真实肤色；根据所述真实肤色，以及预先建立的肤色调节规则，确定所述目标对象对应的3D模型的目标肤色；根据所述目标肤色，渲染所述3D模型的第一部分区域；将所述3D模型的原始面部图像和目标人脸图像进行融合，得到融合后的肤色，并用融合后的肤色渲染所述3D模型的第二部分区域，其中，所述目标人脸图像是根据所述目标肤色生成的；对所述3D模型中所述第一部分区域和所述第二部分区域的皮肤进行整体调节。2.如权利要求1所述的方法，其特征在于，所述根据所述真实肤色，以及预先建立的肤色调节规则，确定所述目标对象对应的3D模型的目标肤色，包括：将所述真实肤色与预先生成的3D模型皮肤库中的皮肤进行匹配，确定所述3D模型的原始肤色；根据所述真实肤色，以及预先建立的肤色调节规则，对所述原始肤色进行调节，得到目标肤色。3.如权利要求1所述的方法，其特征在于，所述将所述3D模型的原始面部图像和目标人脸图像进行融合，得到融合后的肤色，包括：生成所述人脸纹理图像的掩码图像，并根据所述掩码图像，抠取所述3D模型对应的原始纹理图像中的人脸区域，得到原始面部图像；将所述原始面部图像作为前景图像，所述目标面部图像作为背景图像，进行前景与背景的融合，得到融合后的肤色。4.如权利要求1所述的方法，其特征在于，所述对所述3D模型中所述第一部分区域和所述第二部分区域的皮肤进行整体调节，包括：将所述第一部分区域对应的皮肤贴图，以及预先生成的漫反射贴图进行肤色混合；根据混合后的肤色，调节所述第一部分区域和所述第二部分区域的皮肤。5.如权利要求4所述的方法，其特征在于，所述方法还包括：采用基于物理的渲染PBR方法，对所述第一部分区域和所述第二部分区域的皮肤进行高光调节、粗糙度调节、细节调节、环境光遮蔽调节、次表面散射调节中的至少一种。6.如权利要求1‑5中任一项所述的方法，其特征在于，所述提取所述人脸纹理图像中的肤色信息，包括：将所述人脸纹理图像转换为YCbCr格式，初始确定人脸区域；分别统计所述人脸区域内Y分量、Cb分量、Cr分量的高斯分布状态，并确定各个分量高斯分布的均值和方差；根据各个分量高斯分布的均值和方差，确定相应分量中各个像素点的马氏距离；针对每个像素点，若所述像素点的马氏距离在预设取值区间，则确定所述像素点为人脸像素点，并提取所述人脸像素点的肤色信息。7.如权利要求1‑5中任一项所述的方法，其特征在于，所述对所述3D模型中所述第一部2CN113870404A权利要求书2/2页分区域和所述第二部分区域的皮肤进行整体渲染后，还包括：根据虚拟场景中光源的位置，为所述3D模型绘制阴影以增加立体效果。8.一种显示设备，其特征在于，包括处理器、存储器、显示器以及至少一个外部通信接口，所述处理器、所述存储器、所述显示器以及所述外部通信接口通过总线连接；所述存储器中存储有计算机程序，所述处理器被配置为基于所述计算机程序执行以下操作：通过所述至少一个外部通信接口