图像修复方法、装置、设备、存储介质及程序产品.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115908188A(43)申请公布日2023.04.04(21)申请号202211564412.9(22)申请日2022.12.07(71)申请人百果园技术（新加坡）有限公司地址巴西班让路枫树商业城30号楼15层31A(72)发明人黄嘉彬李玉乐项伟(74)专利代理机构北京泽方誉航专利代理事务所(普通合伙)11884专利代理师徐濛(51)Int.Cl.G06T5/00(2006.01)G06T3/00(2006.01)G06N3/0455(2023.01)G06N3/0464(2023.01)G06N3/096(2023.01)权利要求书2页说明书8页附图4页(54)发明名称图像修复方法、装置、设备、存储介质及程序产品(57)摘要本申请实施例公开了一种图像修复方法、装置、设备、存储介质及程序产品，该方法包括：获取待修复图像以及和所述待修复图像对应的区域掩码图像；将所述待修复图像以及所述区域掩码图像输入至训练完成的神经网络模型中，所述神经网络模型包括编码器模块和解码器模块，所述神经网络模型的训练过程中，基于真实图像以及设置的重构损失函数进行约束；通过所述编码器模块得到所述待修复图像以及所述区域掩码图像对应的语义编码信息以及风格编码信息；通过所述解码器模块输出所述语义编码信息以及所述风格编码信息对应的修复图像。本方案使得图像修复效果更佳，同时模型训练时的推理速度更快。CN115908188ACN115908188A权利要求书1/2页1.图像修复方法，其特征在于，包括：获取待修复图像以及和所述待修复图像对应的区域掩码图像；将所述待修复图像以及所述区域掩码图像输入至训练完成的神经网络模型中，所述神经网络模型包括编码器模块和解码器模块，所述神经网络模型的训练过程中，基于真实图像以及设置的重构损失函数进行约束；通过所述编码器模块得到所述待修复图像以及所述区域掩码图像对应的语义编码信息以及风格编码信息；通过所述解码器模块输出所述语义编码信息以及所述风格编码信息对应的修复图像。2.根据权利要求1所述的图像修复方法，其特征在于，所述神经网络模型的训练过程包括：将第一图像以及对应的区域掩码图像输入至神经网络模型，得到对应的第一编码信息和第一风格信息；将所述第一图像对应的真实图像输入至训练完成的重构模型得到对应的第二编码信息和第二风格信息；根据所述第一编码信息、所述第一风格信息、所述第二编码信息和所述第二风格信息计算蒸馏损失，基于所述蒸馏损失对所述神经网络模型的参数进行更新。3.根据权利要求2所述的图像修复方法，其特征在于，所述重构模型和所述神经网络模型的结构相同，在所述将所述第一图像对应的真实图像输入至训练完成的重构模型之前，还包括：基于设置的真实图像对所述重构模型进行训练，得到训练完成的重构模型。4.根据权利要求2所述的图像修复方法，其特征在于，所述根据所述第一编码信息、所述第一风格信息、所述第二编码信息和所述第二风格信息计算蒸馏损失，包括：22根据公式Ldistill＝(code‑coderec)+(style‑stylerec)计算蒸馏损失，其中，Ldistill表示蒸馏损失，code为第一编码信息、coderec为第二编码信息、style为第一风格信息，stylerec为第二风格信息。5.根据权利要求1‑4中任一项所述的图像修复方法，其特征在于，所述神经网络模型的训练过程包括：将第一图像以及对应的区域掩码图像输入至神经网络模型，得到对应的第二图像；获取所述第一图像对应的真实图像，通过设置的L1损失函数以及感知损失函数分别计算所述第二图像和所述真实图像的L1损失和感知损失，基于所述L1损失和所述感知损失，对所述神经网络模型的参数进行更新。6.根据权利要求5所述的图像修复方法，其特征在于，所述神经网络模型的训练过程，还包括：通过设置的对抗损失函数计算所述第二图像与所述真实图像的差异；基于计算的结果对所述神经网络模型的参数进行更新。7.图像修复装置，其特征在于，包括：图像获取模块，配置为获取待修复图像以及和所述待修复图像对应的区域掩码图像；图像输入模块，配置为将所述待修复图像以及所述区域掩码图像输入至训练完成的神经网络模型中，所述神经网络模型包括编码器模块和解码器模块，所述神经网络模型的训2CN115908188A权利要求书2/2页练过程中，基于真实图像以及设置的重构损失函数进行约束；图像输出模块，配置为通过所述编码器模块得到所述待修复图像以及所述区域掩码图像对应的语义编码信息以及风格编码信息，以及通过所述解码器模块输出所述语义编码信息以及所述风格编码信息对应的修复图像。8.一种图像修复设备，所述设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所