模型训练方法、图像处理方法、装置、设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114187201A(43)申请公布日2022.03.15(21)申请号202111497159.5(22)申请日2021.12.09(71)申请人百果园技术（新加坡）有限公司地址新加坡巴西班让路枫树商业城30号楼15层31A(72)发明人徐颖李玉乐项伟(74)专利代理机构北京品源专利代理有限公司11332代理人初春(51)Int.Cl.G06T5/00(2006.01)G06T3/00(2006.01)G06T7/11(2017.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书10页附图6页(54)发明名称模型训练方法、图像处理方法、装置、设备及存储介质(57)摘要本发明实施例公开了模型训练方法、图像处理方法、装置、设备及存储介质。其中，模型训练方法包括：获取训练样本集合，利用训练样本集合基于预设损失函数对预设原始网络模型进行训练，得到目标网络模型，根据目标网络模型中包含的目标生成网络确定人脸图像处理模型，其中，预设原始网络模型中包括生成对抗网络和瑕疵分割网络，生成网络用于生成目标域无瑕疵人脸图像，瑕疵分割网络用于在训练过程中对生成网络输出的生成图像进行分割，将分割结果转化为抑制瑕疵损失函数，约束生成图像以抑制图像在生成过程瑕疵的产生。通过采用上述技术方案，使用人脸图像处理模型，可以得到更加真实自然的无瑕疵人脸图像，瑕疵祛除处理效率高，实时性强。CN114187201ACN114187201A权利要求书1/2页1.一种模型训练方法，其特征在于，包括：获取包含训练样本对的第一训练样本集合，其中，所述训练样本对中包括包含瑕疵的原始人脸样本图像和在所述原始人脸样本图像基础上祛除瑕疵后的目标人脸样本图像；利用所述第一训练样本集合基于预设损失函数对预设原始网络模型进行训练，得到目标网络模型，其中，所述预设原始网络模型中包括参数待调整的生成对抗网络和预先训练好的参数固定的瑕疵分割网络，所述生成对抗网络中包含生成网络和判别网络，所述生成网络用于生成目标域无瑕疵人脸图像，所述瑕疵分割网络用于对所述生成网络输出的生成图像进行分割以得到基于瑕疵区域和非瑕疵区域的分割结果，所述预设损失函数中包含抑制瑕疵损失函数，所述抑制瑕疵损失函数由所述分割结果转化得到，用于约束所述生成图像在生成过程中瑕疵的产生；根据所述目标网络模型中包含的目标生成网络确定人脸图像处理模型，其中，所述人脸图像处理模型用于对待处理人脸图像进行处理，以祛除所述待处理人脸图像中包含的瑕疵。2.根据权利要求1所述的方法，其特征在于，在利用所述第一训练样本集合基于预设损失函数对预设原始网络模型进行训练的过程中，所述生成网络以所述原始人脸样本图像为输入，并输出生成图像，所述判别网络以对应的所述目标人脸样本图像和所述生成图像为输入，并输出所述目标人脸样本图像和所述生成图像是否相同。3.根据权利要求2所述的方法，其特征在于，所述预设损失函数中还包括重建损失函数和对抗损失函数，其中，所述重建损失函数用于约束所述生成图像和对应的目标人脸样本图像之间的差距。4.根据权利要求1所述的方法，其特征在于，在所述利用所述训练样本集合基于预设损失函数对预设原始网络模型进行训练之前，还包括：获取包含所述训练样本对的第二训练样本集合；根据所述第二训练样本集合中的各训练样本对中的所述原始人脸样本图像和所述目标人脸样本图像之间的差异，对所述原始人脸样本图像进行分割标注，得到包含瑕疵区域和非瑕疵区域的目标分割图像；将所述原始人脸样本图像作为预设原始瑕疵分割网络的输入，将对应的目标分割图像作为期望，基于预设分割损失函数对所述预设原始瑕疵分割网络进行训练，得到瑕疵分割网络。5.根据权利要求4所述的方法，其特征在于，所述根据所述第二训练样本集合中的各训练样本对中的所述原始人脸样本图像和所述目标人脸样本图像之间的差异，对所述原始人脸样本图像进行分割标注，包括：对于所述第二训练样本集合中的每个训练样本对，计算各像素位置对应的第一像素和第二像素的绝对差值，其中，所述第一像素来源于所述原始人脸样本图像，所述第二像素来源于所述目标人脸样本图像；根据各所述绝对差值确定目标分割阈值；利用所述目标分割阈值对所述原始人脸样本图像进行分割标注，其中，对应绝对差值大于或等于所述目标分割阈值的部分被标注为瑕疵区域，对应绝对差值小于所述目标分割阈值的部分被标注为非瑕疵区域。2CN114187201A权利要求书2/2页6.根据权利要求4所述的方法，其特征在于，所述预设分割损失函数包括骰子损失函数。7.根据权利要求1‑6任一所述的方法，其特征在于，所述抑制瑕疵损失函数通过所述瑕疵分割网络输出的所述生成图像中包含的瑕疵区域的总数表示。