图像处理方法、装置、设备及存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114998483A(43)申请公布日2022.09.02(21)申请号202210682932.3(22)申请日2022.06.16(71)申请人厦门美图之家科技有限公司地址361000福建省厦门市火炬高新区软件园华讯楼C区B1F-089(72)发明人周林鹏(74)专利代理机构北京超凡宏宇专利代理事务所(特殊普通合伙)11463专利代理师曹瑞敏(51)Int.Cl.G06T11/60(2006.01)G06T3/00(2006.01)G06T5/50(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书3页说明书19页附图10页(54)发明名称图像处理方法、装置、设备及存储介质(57)摘要本申请提供一种图像处理方法、装置、设备及存储介质，涉及图像处理技术领域。该方法包括：获取待处理的人脸图像及用户输入的目标位置；根据人脸图像以及目标位置，确定第一图像、第二图像；将第一图像、第二图像输入预先训练的目标图像生成器模型，得到第三图像；根据人脸图像及第三图像，对人脸图像中的眼部区域图像进行融合处理。相比于现有技术，本申请提出的方案仅依赖单张人脸图像，就能够实现对人脸图像中眼球在合理范围内任意位置的编辑，有效解决了现有技术中存在的无法适应单张图片输入的编辑场景的技术问题；同时本申请提出的方案聚焦于眼部区域图像生成，从而保持除眼部之外其他区域与原图的一致性，使得编辑处理效果更加真实。CN114998483ACN114998483A权利要求书1/3页1.一种图像处理方法，其特征在于，所述方法包括：获取待处理的人脸图像以及用户输入的目标位置，所述目标位置为所述人脸图像中眼球待移动到的位置；根据所述人脸图像以及所述目标位置，确定第一图像、第二图像，其中，所述第一图像为所述人脸图像中的原始眼部区域图像，所述第二图像为所述原始眼部区域图像中的眼球处于所述目标位置的掩膜图像；将所述第一图像、所述第二图像输入预先训练的目标图像生成器模型，得到第三图像，所述第三图像为目标眼部区域图像，所述第三图像中眼球位于所述目标位置上；根据所述人脸图像及所述第三图像，对所述人脸图像中的眼部区域图像进行融合处理，得到处理后的目标图像。2.根据权利要求1所述的方法，其特征在于，所述目标图像生成器模型采用如下方式训练得到：获取多个人脸样本的原始输入图像与原始掩膜图像，其中，所述原始输入图像为所述人脸图像中的原始眼部区域图像，所述原始掩膜图像为所述人脸图像中眼球实际所处位置的掩膜图像；基于所述多个人脸样本的原始输入图像与原始掩膜图像，对初始图像生成器模型进行迭代训练，得到所述目标图像生成器模型。3.根据权利要求2所述的方法，其特征在于，所述基于所述多个人脸样本的原始输入图像与原始掩膜图像，对初始图像生成器模型进行迭代训练，得到所述目标图像生成器模型，包括：将第一人脸样本的原始输入图像、第二人脸样本的原始掩膜图像输入至所述初始图像生成器模型中，得到所述初始图像生成器模型输出的第二人脸样本的生成图像；将所述第二人脸样本的生成图像、所述第一人脸样本的原始掩膜图像输入至所述初始图像生成器模型中，得到所述初始图像生成器模型输出的第一人脸样本的复原图像；根据所述第一人脸样本的原始输入图像与所述第一人脸样本的复原图像，计算所述初始图像生成器模型的损失值，并根据所述初始图像生成器模型的损失值修正所述初始图像生成器模型的参数，得到新的初始图像生成器模型；分别将所述第二人脸样本的生成图像、以及所述第一人脸样本的复原图像输入至初始掩膜生成器模型，得到第二人脸样本的复原掩膜图像、第一人脸样本的生成掩膜图像；根据所述第二人脸样本的复原掩膜图像与所述第二人脸样本的原始掩膜图像，计算所述初始掩膜生成器模型的损失值，并根据所述初始掩膜生成器模型的损失值修正所述初始掩膜生成器模型的参数，得到新的初始掩膜生成器模型；循环执行上述步骤，直至所述初始图像生成器模型的损失值满足预设的第一损失阈值，以及所述初始掩膜生成器模型的损失值满足预设的第二损失阈值，将满足所述第一损失阈值的所述初始图像生成器模型作为所述目标图像生成器模型、以及将满足所述第二损失阈值的所述初始掩膜生成器模型作为目标掩膜生成器模型。4.根据权利要求3所述的方法，其特征在于，所述初始图像生成器模型的损失值满足预设的第一损失阈值，以及所述初始掩膜生成器模型的损失值满足预设的第二损失阈值，将满足所述第一损失阈值的所述初始图像生成器模型作为所述目标图像生成器模型、以及将2CN114998483A权利要求书2/3页满足所述第二损失阈值的所述初始掩膜生成器模型作为目标掩膜生成器模型，包括：若初始图像生成器模型的损失值满足所述第一损失阈值，以及所述初始掩膜生