头部姿态估计方法及机器可读存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN109034017A(43)申请公布日2018.12.18(21)申请号201810764042.0(22)申请日2018.07.12(71)申请人北京华捷艾米科技有限公司地址100193北京市海淀区东北旺西路8号院37号楼四层401号(72)发明人王行李骊盛赞周晓军李朔杨淼(74)专利代理机构南京经纬专利商标代理有限公司32200代理人楼高潮(51)Int.Cl.G06K9/00(2006.01)G06K9/46(2006.01)权利要求书2页说明书6页附图3页(54)发明名称头部姿态估计方法及机器可读存储介质(57)摘要本发明涉及图像处理领域。本发明一实施例提供一种头部姿态估计方法及机器可读存储介质，所述头部姿态估计方法包括：获取待进行头部姿态估计的三基色彩色图像与深度图像；从所述三基色彩色图像中提取出人脸区域，并基于所提取的人脸区域生成对应于所述三基色彩色图像的人脸灰色图像和对应于所述深度图像的人脸深度图像；提取所述人脸灰色图像所对应的人脸轮廓图像；以及将所述人脸灰度图像、所述人脸轮廓图像和所述人脸深度图像输入至头部姿态估计模型，以由该头部姿态估计模型输出头部姿态估计结果。由此，能够实现基于单帧人脸图像的头部姿态估计，并能保障较高的估计精确度和效率。CN109034017ACN109034017A权利要求书1/2页1.一种头部姿态估计方法，包括：获取待进行头部姿态估计的三基色彩色图像与深度图像；从所述三基色彩色图像中提取出人脸区域，并基于所提取的人脸区域生成对应于所述三基色彩色图像的人脸灰色图像和对应于所述深度图像的人脸深度图像；提取所述人脸灰色图像所对应的人脸轮廓图像；以及将所述人脸灰度图像、所述人脸轮廓图像和所述人脸深度图像输入至头部姿态估计模型，以由该头部姿态估计模型输出头部姿态估计结果。2.根据权利要求1所述的方法，其中所述头部姿态估计模型包括灰度子模型、轮廓子模型和深度子模型，以及所述将所述人脸灰度图像、所述人脸轮廓图像和所述人脸深度图像输入至头部姿态估计模型以由该头部姿态估计模型输出头部姿态估计结果包括：由所述灰度子模型结合所输入的人脸灰度图像，确定相应的头部姿态的第一估计结果；由所述轮廓子模型结合所输入的人脸轮廓图像，确定相应的头部姿态的第二估计结果；由所述深度子模型结合所输入的人脸深度图像，确定相应的头部姿态的第三估计结果；以及根据所述第一估计结果、第二估计结果和所述第三估计结果，生成所述头部姿态估计结果。3.根据权利要求2所述的方法，其中该方法还包括针对所述头部姿态估计模型的训练步骤，具体包括：获取待训练图像和其所对应的人脸欧拉角的实际真值，并确定关于所述待训练图像的人脸灰度图像、人脸轮廓图像和人脸深度图像；将所述人脸灰度图像、人脸轮廓图像、人脸深度图像和所述人脸欧拉角的实际真值，输入至所述头部姿态估计模型以训练所述头部姿态估计模型，包括：分别由所述灰度子模型、所述轮廓子模型和所述深度子模型估计对应所输入的所述人脸灰度图像、人脸轮廓图像、人脸深度图像的人脸欧拉角的第一估计值、第二估计值和第三估计值；基于正弦距离损失函数，并结合所述第一估计值、所述第二估计值、所述第三估计值和所述人脸欧拉角的实际真值，分别训练所述灰度子模型、所述轮廓子模型和所述深度子模型。4.根据权利要求1所述的方法，其中，所述从所述三基色彩色图像中提取出人脸区域并基于所提取的人脸区域生成对应于所述三基色彩色图像的人脸灰色图像和对应于所述深度图像的人脸深度图像包括：基于人脸检测算法模型，检测并标记人脸在三基色彩色图像中的像素位置以提取出人脸区域；将所提取的人脸区域进行灰度转换，以生成所述人脸灰色图像；将所提取的人脸区域的所述像素位置映射至所述深度图像以生成相应的人脸深度图像。5.根据权利要求1所述的方法，其中，所述提取所述人脸灰色图像所对应的人脸轮廓图2CN109034017A权利要求书2/2页像包括：直方图均衡化所述人脸灰度图像；以及对经直方图均衡化的所述人脸灰度图像进行平滑和锐化，以生成人脸轮廓图像。6.根据权利要求1所述的方法，其中，在将所述人脸灰度图像、所述人脸轮廓图像和所述人脸深度图像输入至头部姿态估计模型之前，该方法还包括针对所述人脸灰度图像、所述人脸轮廓图像和所述人脸深度图像的图像优化处理步骤，具体包括：对所述人脸灰度图像进行光照补偿；对所述人脸深度图像进行双边滤波；基于所述人脸灰度图像与所述人脸深度图像之间的像素对应关系，去除经光照补偿的人脸灰度图像中的背景像素点。7.根据权利要求6所述的方法，其中，所述对所述人脸灰度图像进行光照补偿包括：计算所述人脸灰度图像的平均灰度，并将所述人脸灰度图像分成多个方块；计算每个所述方块的平均像素值，以得到关于所