人脸图像的光照处理方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN107944420A(43)申请公布日2018.04.20(21)申请号201711290312.0(22)申请日2017.12.07(71)申请人北京旷视科技有限公司地址100000北京市海淀区科学院南路2号A座313申请人北京迈格威科技有限公司(72)发明人马里千(74)专利代理机构北京超凡志成知识产权代理事务所(普通合伙)11371代理人王术兰(51)Int.Cl.G06K9/00(2006.01)G06T19/20(2011.01)G06T15/50(2011.01)权利要求书2页说明书9页附图3页(54)发明名称人脸图像的光照处理方法和装置(57)摘要本发明提供了人脸图像的光照处理方法和装置，该方法包括：通过对获取的人脸图像进行检测，确定人脸图像中的第一面部区域；然后将获取的场景光照参数对第一面部区域进行渲染，得到光照编辑的第二面部区域；根据第二面部区域与第一面部区域，确定第一面部区域内每个像素对应的颜色变换参数；以及，根据第一面部区域内的像素对应的颜色变换参数确定人脸图像中第一面部区域外的像素对应的颜色变换参数，并对人脸图像进行颜色变换，从而得到光照编辑的人脸图像。这样就可以得到不同光照的人脸图像。CN107944420ACN107944420A权利要求书1/2页1.一种人脸图像的光照处理方法，其特征在于，所述方法包括：获取人脸图像，并对所述人脸图像进行检测，确定所述人脸图像中的第一面部区域；获取场景光照参数；根据所述场景光照参数对所述第一面部区域进行渲染，得到光照编辑的第二面部区域；根据所述第二面部区域与所述第一面部区域，确定所述第一面部区域内每个像素对应的颜色变换参数；根据所述第一面部区域内每个像素对应的颜色变换参数，确定所述图像中所述第一面部区域外的每个像素对应的颜色变换参数；根据所述第一面部区域内每个像素对应的颜色变换参数和所述人脸图像中所述第一面部区域外的每个像素对应的颜色变换参数对所述人脸图像进行颜色变换，得到光照编辑的人脸图像。2.根据权利要求1所述的人脸图像的光照处理方法，其特征在于，所述根据所述场景光照参数对所述第一面部区域进行渲染，得到光照编辑的第二面部区域，包括：确定所述第一面部区域的特征参数，所述特征参数包括人脸三维信息和人脸材质信息中的至少一种；根据所述特征参数和所述场景光照参数，对所述第一面部区域进行渲染，得到所述第二面部区域。3.根据权利要求2所述的人脸图像的光照处理方法，其特征在于，所述确定所述第一面部区域的特征参数，包括：将所述第一面部区域输入人脸关键点检测模型，得到人脸关键点位置信息；将所述第一面部区域和所述人脸关键点位置信息输入三维人脸识别模型，得到所述人脸三维信息。4.根据权利要求2所述的人脸图像的光照处理方法，其特征在于，所述确定所述第一面部区域的特征参数，包括：获取所述第一面部区域的人脸三维信息；将所述人脸三维信息和所述第一面部区域输入场景光照检测模型，得到所述人脸图像的场景光照参数和所述人脸材质信息。5.根据权利要求1至4中任一项所述的人脸图像的光照处理方法，其特征在于，所述根据所述第一面部区域内每个像素对应的颜色变换参数，确定所述人脸图像中所述第一面部区域外的每个像素对应的颜色变换参数，包括：将所述第一面部区域内的像素对应的颜色变换参数平滑扩散至所述人脸图像中所述第一面部区域外的像素，使得位于所述第一面部区域边界两侧的任意相邻像素的颜色变换参数的差值最小化，且所述人脸图像中所述第一面部区域外的任意相邻像素的颜色变换参数的差值最小化，确定所述人脸图像中所述第一面部区域外的每个像素对应的颜色变换参数。6.一种人脸图像的光照处理装置，其特征在于，所述装置包括：检测模块，用于获取人脸图像，并对所述人脸图像进行检测，确定所述人脸图像中的第一面部区域；2CN107944420A权利要求书2/2页获取模块，用于获取场景光照参数；渲染模块，用于根据所述场景光照参数对所述第一面部区域进行渲染，得到光照编辑的第二面部区域；第一确定模块，用于根据所述第二面部区域与所述第一面部区域，确定所述第一面部区域内每个像素对应的颜色变换参数；第二确定模块，用于根据所述第一面部区域内每个像素对应的颜色变换参数，确定所述图像中所述第一面部区域外的每个像素对应的颜色变换参数；颜色变换模块，用于根据所述第一面部区域内每个像素对应的颜色变换参数和所述人脸图像中所述第一面部区域外的每个像素对应的颜色变换参数对所述人脸图像进行颜色变换，得到光照编辑的人脸图像。7.根据权利要求6所述的人脸图像的光照处理装置，其特征在于，所述渲染模块具体用于：确定所述第一面部区域的特征参数，所述特征参数包括人脸三维信息和人脸材质信息中的至少一种；根据所述特征