图像处理方法、装置和系统及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108961149A(43)申请公布日2018.12.07(21)申请号201710390286.2(22)申请日2017.05.27(71)申请人北京旷视科技有限公司地址100190北京市海淀区科学院南路2号A座313申请人北京迈格威科技有限公司(72)发明人周而进黄志翱刘研绎(74)专利代理机构北京睿邦知识产权代理事务所(普通合伙)11481代理人徐丁峰戴亚南(51)Int.Cl.G06T3/00(2006.01)G06T17/00(2006.01)G06T19/20(2011.01)权利要求书3页说明书17页附图7页(54)发明名称图像处理方法、装置和系统及存储介质(57)摘要本发明的实施例提供了一种图像处理方法、装置和系统及存储介质。该方法包括：获取初始人脸图像；基于初始人脸图像进行三维重建，以获得三维人头模型；在三维人头模型上预定义人脸关键点信息；对三维人头模型进行变换；将经变换的三维人头模型渲染为二维人脸图像；以及根据经变换的三维人头模型与二维人脸图像之间的投影关系以及人脸关键点信息，确定二维人脸图像中的二维人脸关键点并获得二维人脸关键点的位置信息作为人脸关键点标注数据。利用上述方法、装置和系统及存储介质能够非常简单快速地生成大量的、各种不同场景下的人脸图像及人脸关键标注数据。CN108961149ACN108961149A权利要求书1/3页1.一种图像处理方法，包括：获取初始人脸图像；基于所述初始人脸图像进行三维重建，以获得三维人头模型；在所述三维人头模型上预定义人脸关键点信息；对所述三维人头模型进行变换；将经变换的三维人头模型渲染为二维人脸图像；以及根据所述经变换的三维人头模型与所述二维人脸图像之间的投影关系以及所述人脸关键点信息，确定所述二维人脸图像中的二维人脸关键点并获得所述二维人脸关键点的位置信息作为人脸关键点标注数据。2.如权利要求1所述的图像处理方法，其中，在所述将经变换的三维人头模型渲染为二维人脸图像之前，所述图像处理方法还包括：在所述经变换的三维人头模型上添加附加信息，其中，所述附加信息包括背景、头发和光照中的一项或多项。3.如权利要求2所述的图像处理方法，其中，所述在所述经变换的三维人头模型上添加附加信息包括：在所述经变换的三维人头模型上随机添加所述附加信息。4.如权利要求1所述的图像处理方法，其中，所述人脸关键点信息包括与人脸内部关键点相关的内部点信息，所述二维人脸关键点包括二维内部关键点。5.如权利要求4所述的图像处理方法，其中，所述内部点信息包括所述三维人头模型中的三维内部关键点的位置信息，所述根据所述经变换的三维人头模型与所述二维人脸图像之间的投影关系以及所述人脸关键点信息，确定所述二维人脸图像中的二维人脸关键点并获得所述二维人脸关键点的位置信息作为人脸关键点标注数据包括：根据所述投影关系以及所述三维内部关键点的位置信息，确定所述三维内部关键点在所述二维人脸图像所在的成像平面中投影获得的二维内部关键点并获得所述二维内部关键点的位置信息。6.如权利要求1至5任一项所述的图像处理方法，其中，所述人脸关键点信息包括与人脸轮廓关键点相关的轮廓点信息，所述二维人脸关键点包括二维轮廓关键点。7.如权利要求6所述的图像处理方法，其中，所述轮廓点信息包括所述三维人头模型中的、可能成为人脸轮廓关键点的三维轮廓点集的位置信息，所述根据所述经变换的三维人头模型与所述二维人脸图像之间的投影关系以及所述人脸关键点信息，确定所述二维人脸图像中的二维人脸关键点并获得所述二维人脸关键点的位置信息作为人脸关键点标注数据包括：确定所述三维轮廓点集与所述三维人头模型中的预定义的起点平面的交集为三维起点候选集；根据所述投影关系以及所述三维轮廓点集的位置信息，确定所述三维轮廓点集和所述三维起点候选集在所述二维人脸图像所在的成像平面中投影获得的二维轮廓点集和二维起点候选集及所述二维轮廓点集和所述二维起点候选集的位置；从所述二维起点候选集中选择轮廓起点和轮廓终点；2CN108961149A权利要求书2/3页基于所述轮廓起点、所述轮廓终点和所述二维轮廓点集的外轮廓线确定人脸轮廓线；以及基于所述人脸轮廓线确定所述二维人脸图像中的二维轮廓关键点并获得所述二维轮廓关键点的位置信息。8.如权利要求7所述的图像处理方法，其中，所述基于所述人脸轮廓线确定所述二维人脸图像中的二维轮廓关键点并获得所述二维轮廓关键点的位置信息包括：根据预定义的人脸部位剔除条件剔除所述人脸轮廓线中的、属于特定人脸部位的点，以获得新的人脸轮廓线；将所述新的人脸轮廓线等分；以及确定获得的等分点为所述二维人脸图像中的二维轮廓关键点并获得所述二维轮廓关键点的位置信息。9.如权利要求7所述的图像处理方法