一种基于伪标签的人脸图像高光去除方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114549387A(43)申请公布日2022.05.27(21)申请号202210208825.7(22)申请日2022.03.03(71)申请人重庆邮电大学地址400065重庆市南岸区南山街道崇文路2号(72)发明人黄颖王泽荃(74)专利代理机构重庆辉腾律师事务所50215专利代理师卢胜斌(51)Int.Cl.G06T5/50(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书3页说明书9页附图3页(54)发明名称一种基于伪标签的人脸图像高光去除方法(57)摘要本发明涉及图像处理、计算机视觉及深度学习领域，特别涉及一种基于伪标签的人脸图像高光去除方法，包括通过渲染引擎获取合成人脸数据集，与真实带高光人脸图像组成带标签数据集和无标签数据集；使用带标签数据集对卷积神经网络进行训练；使用伪标签的方法，提升神经网络的泛化能力；将带高光的人脸图像输入卷积神经网络，得到去除高光的图片；本发明得到的人脸去高光图像符合人脸观测效果，且不会损伤人脸纹理细节。CN114549387ACN114549387A权利要求书1/3页1.一种基于伪标签的人脸图像高光去除方法，其特征在于，具体包括以下步骤：S1、通过渲染引擎获取合成人脸数据集，与真实带高光人脸图像组成带标签数据集和无标签数据集；S2、使用带标签数据集对卷积神经网络进行训练；S3、获取未标注数据集中数据的伪标签，并使用带伪标签的数据集对卷积神经网络进行训练；S4、将带高光的人脸图像输入完成训练的卷积神经网络，得到去除高光的图片。2.根据权利要求1所述的一种基于伪标签的人脸图像高光去除方法，其特征在于，带标签数据集和无标签数据集的获取方法包括：选取若干张人脸3D模型图像加载入基于物理的渲染姻亲，并选择若干中HDR环境光照，对人脸模型进行渲染；根据Phong光照模型，分别渲染得到人脸的漫反射部分D和镜面反射部分S，则渲染得到的带高光的人脸图像表示为I＝D+S，将得到的带高光的人脸图像和其原图组成的带高光/去高光的合成人脸图像对，由带高光/去高光的合成人脸图像对构成带标签数据集；从人脸数据集中选择若干张带高光的人脸图片作为无标签数据集。3.根据权利要求1所述的一种基于伪标签的人脸图像高光去除方法，其特征在于，卷积神经网络包括编码器和解码器，将输入卷积神经网络的图像作为编码器的输入，编码器包括级联的5个卷积模块，每个卷积模块的输出进行最大池化后再输入下一级卷积模块；将编码器的输出作为解码器的输入，解码器包括4个注意力模块、4个卷积模块、4个反卷积模块以及一个卷积层第一个反卷积模块以解码器的输入作为输入进行反卷积操作得到的输出为d1，第一个注意力模块将编码器中倒数第二个卷积模块的输出和d1作为输入进行融合得到的输出记为x1；将d1和x1拼接在一起输入第一个卷积模块进行卷积并将第一个卷积模块的输出作为第二个反卷积模块的输入进行反卷积操作得到输出结果d2，第二个注意力模块根据d2以及编码器倒数第三个卷积模块的输出作为输入进行融合得到的输出记为x2；将d2和x2拼接在一起输入拼接在一起输入第二个卷积模块进行卷积并将第二个卷积模块的输出作为第三个反卷积模块的输入进行反卷积操作得到输出结果d3，第三个注意力模块根据d3以及编码器倒数第四个卷积模块的输出作为输入进行融合得到的输出记为x3；将d3和x3拼接在一起输入拼接在一起输入第三个卷积模块进行卷积并将第三个卷积模块的输出作为第四个反卷积模块的输入进行反卷积操作得到输出结果d4，第四个注意力模块根据d4以及编码器倒数第五个卷积模块的输出作为输入进行融合得到的输出记为x4；将d4和x4拼接在一起输入拼接在一起输入第四个卷积模块进行卷积并将第四个卷积模块的输出作为编码器的卷积层的输入进行卷积，得到解码器的输出结果。4.根据权利要求3所述的一种基于伪标签的人脸图像高光去除方法，其特征在于，卷积模块有两个级联的卷积层构成，每个卷积层依次进行卷积核个数为图像通道数、卷积窗口大小为3×3、步长为1×1的卷积操作，归一化操作以及使用relu函数进行激活；注意力模块将来自解码器的输入作为主要部分、将来自编码器的输入作为次要部分，注意力模块对主要部分以及次要部分进行融合，主要部分以及次要部分分别依次使用卷积窗口大小为3×3、步长为1×1的卷积操以及归一化操作得到主要部分X以及次要部分S，并2CN114549387A权利要求书2/3页将主要部分X以及次要部分S相加后依次进行卷积窗口大小为3×3、步长为1×1的卷积操作、归一化操作以及使用sigmoid函数进行激活得到融合结果XS，将融合结果XS与主要部分X相乘作为注意力模块的输出；反卷积模块包括上采样层和卷积层，上采样层对输