人脸图像处理方法、装置、电子设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112509144A(43)申请公布日2021.03.16(21)申请号202011428827.4G06N3/04(2006.01)(22)申请日2020.12.09G06N3/08(2006.01)(71)申请人深圳云天励飞技术股份有限公司地址518000广东省深圳市龙岗区园山街道龙岗大道8288号深圳大运软件小镇17栋1楼(72)发明人王杉杉胡文泽王孝宇(74)专利代理机构深圳驿航知识产权代理事务所(普通合伙)44605代理人杨伦(51)Int.Cl.G06T17/20(2006.01)G06T15/00(2011.01)G06T5/00(2006.01)G06K9/62(2006.01)权利要求书2页说明书15页附图8页(54)发明名称人脸图像处理方法、装置、电子设备及存储介质(57)摘要本发明实施例提供一种人脸图像处理方法、装置、电子设备及存储介质，所述方法包括：获取预设数量的连续人脸帧图像；将所述连续人脸帧图像输入到预先训练好的三维重建网络中进行三维人脸重建，得到三维人脸后渲染为二维人脸图像；通过所述二维人脸图像以及预先训练好的图像增强网络对所述连续人脸帧图像进行图像去噪去模糊，得到目标人脸图像；其中，所述三维重建网络与所述图像增强网络为级联设置。通过对连续人脸帧图像进行三维人脸重建，并渲染得到二维人脸图像，使得二维人脸图像具有更清晰的特征可以作为先验信息，在图像增强网络根据作为先验信息的二维人脸图像对连续人脸帧图像进行去噪去模糊之后，可以得到视觉质量更高的人脸图像。CN112509144ACN112509144A权利要求书1/2页1.一种人脸图像处理方法，其特征在于，包括以下步骤：获取预设数量的连续人脸帧图像；将所述连续人脸帧图像输入到预先训练好的三维重建网络中进行三维人脸重建，得到三维人脸后渲染为二维人脸图像；通过所述二维人脸图像以及预先训练好的图像增强网络对所述连续人脸帧图像进行图像去噪去模糊，得到目标人脸图像；其中，所述三维重建网络与所述图像增强网络为级联设置。2.如权利要求1所述的方法，其特征在于，所述三维重建网络包括参数提取网络以及参数重建网络，所述将所述连续人脸帧图像输入到预先训练好的三维重建网络中进行三维人脸重建，得到三维人脸后渲染为二维人脸图像，包括：通过所述参数提取网络提取所述连续人脸帧图像的人脸重建参数；通过所述参数重建网络对所述人脸重建参数进行重建，得到三维人脸；对所述三维人脸进行二维渲染，得到二维人脸图像。3.如权利要求2所述的方法，其特征在于，所述图像增强网络包括去噪卷积核以及去模糊卷积核，所述通过所述二维人脸图像以及预先训练好的图像增强网络对所述连续人脸帧图像进行图像去噪去模糊，得到目标人脸图像，包括：将所述二维人脸图像作为所述连续人脸帧图像的先验信息，输入到所述图像增强网络；以所述先验信息作为参考，通过所述去噪卷积核对所述连续人脸帧图像进行去噪操作；以及以所述先验信息作为参考，通过所述去模糊卷积核对所述连续人脸帧图像进行去模糊操作；输出得到目标人脸图像。4.如权利要求1所述的方法，其特征在于，所述三维重建网络与所述图像增强网络为联合训练，所述联合训练包括：构建样本集，所述样本集包括样本人脸图像，与所述样本人脸图像对应的人脸关键点位置标签、像素均方差标签以及重建参数标签；将所述样本集输入到级联的所述三维重建网络与所述图像增强网络中对所述三维重建网络与所述图像增强网络进行训练；计算所述三维重建网络中，预测重建参数与重建参数标签的第一损失函数；以及计算所述三维重建网络中，二维人脸图像中预测人脸关键点位置与人脸关键点位置标签所对应的第二损失函数；以及计算所述图像增强网络中，所得到目标人脸图像的预测像素均方差与像素均方差标签的第三损失函数；计算第一损失函数、第二损失函数以及第三损失函数的总损失，并根据反向传播调整所述三维重建网络与所述图像增强网络的参数，迭代训练以使所述总损失最小化，得到训练好的三维重建网络以及训练好的图像增强网络。5.如权利要求4所述的方法，其特征在于，所述样本集中包括多组样本人脸图像，所述构建样本集，包括：2CN112509144A权利要求书2/2页获取预设数量的连续人脸帧图像作为一组待处理样本人脸图像；在预先准备的模糊核以及噪声核中，随机选取至少一个模糊核与至少一个噪声核对当前待处理样本人脸图像进行模糊添加以及噪声添加，得到处理后的样本人脸图像；根据所述当前待处理样本人脸图像，获取与所述当前待处理样本人脸图像对应的人脸关键点位置标签、像素均方差标签以及重建参数标签；将所述处理后的样本人脸图像、以及所述与所述当前待处理样本人脸图像对应的人脸关键点位置标签、像素均方差标签以及重建参数标签作为一组样本