一种人脸图像的修复方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112001859A(43)申请公布日2020.11.27(21)申请号202010794408.6G06K9/00(2006.01)(22)申请日2020.08.10(71)申请人深思考人工智能科技（上海）有限公司地址201210上海市浦东新区南汇新城镇环湖西二路888号C楼(72)发明人杨志明(74)专利代理机构北京德琦知识产权代理有限公司11018代理人牛峥王丽琴(51)Int.Cl.G06T5/00(2006.01)G06T3/60(2006.01)G06T17/00(2006.01)G06T15/04(2011.01)权利要求书2页说明书9页附图3页(54)发明名称一种人脸图像的修复方法及系统(57)摘要本发明公开了一种人脸图像的修复方法及系统，本发明实施例采用密集关键点定位技术对二维人脸图像进行三维人脸重建，并通过转正算法，渲染得到转正后的人脸图像；采用关键点热图回归的方式对二维人脸图像进行关键点遮挡判断，并对转正后的人脸进行掩码处理；最后利用对抗边缘修复模型恢复出被遮挡的人脸区域，最终获得转正修复后的正面人脸。CN112001859ACN112001859A权利要求书1/2页1.一种人脸图像的修复方法，其特征在于，包括：采用三维人脸建模方式对二维人脸图像进行三维人脸重建，得到重建的三维人脸；将重建的三维人脸转正，渲染后得到转正后的人脸图像；采用训练得到的遮挡判断模型对二维人脸图像进行关键点遮挡判断，根据得到的关键点遮挡判断结果，对转正后的人脸图像进行遮挡掩码处理，得到掩码后的转正人脸图像和掩码图像；将得到的掩码后的转正人脸图像及掩码图像输入到训练得到的对抗边缘模型edgeconnect中，得到修复后的人脸图像。2.如权利要求1所述的方法，其特征在于，所述采用三维人脸建模方式对二维人脸图像进行三维人脸重建包括：采用UVpositionMap方式对二维人脸图像中的密集关键点进行定位后，采用密集关键点的三维坐标及其相应的在二维人脸图像中的像素值，得到重建的三维人脸的纹理贴图，将纹理贴图与三维人脸模型进行贴合，得到重建的三维人脸。3.如权利要求1所述的方法，其特征在于，所述将重建的三维人脸进行转正包括：判断所述重建的三维人脸的姿态是否在设定的偏航阈值内，如果是，利用三维人脸重建方式获得重建的三维人脸的顶点坐标，根据计算得到的人脸旋转矩阵将重建的三维人脸转正；如果否，则不进行处理。4.如权利要求1所述的方法，其特征在于，所述采用训练得到的遮挡判断模型对二维人脸图像进行关键点遮挡判断包括：在二维人脸图像中选取设定个数的关键点，通过遮挡判断模型进行关键点热图的预测概率计算，当关键点热图的预测概率小于设置的经验阈值时，判断所选定的关键点被遮挡；所述遮挡判断模型的关键点热图的定位损失函数函数采用其中，i为第i个关键点，为预测的第i个关键点热图，Yi为第i个关键点的热图标签，为预测的关键点背景热图，Ybg为关键点背景热图标签，visi设置为1，代表第i个关键点可见，visi为0时，代表第i个关键点被遮挡，γ是第一权重值，设置为3，α是第二权重值，设置为1.5。5.如权利要求1所述的方法，其特征在于，所述对转正后的人脸图像进行遮挡掩码处理，得到掩码后的转正人脸图像和掩码图像包括：判断二维人脸图像的姿态是否在设置的第二偏航阈值以内，如果是，则对判定的遮挡关键点进行掩码处理，得到掩码后的转正人脸图像及掩码图像，如果否，则对转正的人脸图像进行半边脸遮码，得到掩码后的转正人脸图像及掩码图像。6.如权利要求1所述的方法，其特征在于，所述训练得到的edgeconnect包括边缘修复模型和图像修复模型，其中边缘修复模型根据掩码后的转正人脸图像的可见区域的边缘信息，修复掩码后的转正人脸图像的掩码处的边缘；图像修复模型根据补全边缘的图像作为先知信息，修补掩码后的转正人脸图像中的剩余掩码图像。7.一种人脸图像的修复系统，其特征在于，包括：三维人脸重建模块、转正模块、遮挡判2CN112001859A权利要求书2/2页断模块和图像修复模块，其中，三维人脸重建模块，用于采用三维人脸建模方式对二维人脸图像进行三维人脸重建，得到重建的三维人脸；转正模块，用于将得到的三维人脸转正，渲染后得到转正后的人脸图像；遮挡判断模块，用于采用训练得到的遮挡判断模型对二维人脸图像进行关键点遮挡判断，根据得到的关键点遮挡判断结果对转正后的人脸图像进行遮挡掩码处理，得到掩码后的转正人脸图像和掩码图像；图像修复模块，用于将得到的掩码后的转正人脸图像及掩码图像输入到训练得到的edgeconnect中，得到修复后的人脸图像。8.如权利要求7所述的系统，其特征在于，所述三维人脸重建模块，还用于采用UVpositio