图像修复方法及其装置、设备、介质、产品.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113902649A(43)申请公布日2022.01.07(21)申请号202111413111.1(22)申请日2021.11.25(71)申请人广州华多网络科技有限公司地址511442广东省广州市番禺区南村镇万达广场B1栋24层(72)发明人黄家冕(74)专利代理机构广州利能知识产权代理事务所(普通合伙)44673代理人王增鑫(51)Int.Cl.G06T5/00(2006.01)权利要求书2页说明书15页附图6页(54)发明名称图像修复方法及其装置、设备、介质、产品(57)摘要本申请公开一种图像修复方法及其装置、设备、介质、产品，所述方法包括：本申请获取待修复图片及其目标区域图像的候选框数据，生成目标区域图像的掩膜数据；通过主干网络层对所述待修复图片及其目标区域图像的掩膜数据进行特征提取，获得图像特征图及其掩膜数据；其后通过循环修复层获得多个图像修复特征图及其掩膜数据；再通过融合解码层融合所述图像修复特征图及其掩膜数据并解码，获得中间修复图像；最后融合待修复图片及其掩膜数据和中间修复图像生成修复图像，实现端到端且高效的目标区域图像去除和修复。本申请能对构成上述模型训练集的相关图片进行高效的筛选，以便用于训练相关模型，使相关模型更精准，具有广泛适应性。CN113902649ACN113902649A权利要求书1/2页1.一种图像修复方法，其特征在于，包括如下步骤：获取待修复图片及其目标区域图像的候选框数据，生成目标区域图像的掩膜数据；通过预训练的图像修复模型的主干网络层对所述待修复图片及其目标区域图像的掩膜数据进行特征提取，获得图像特征图及其掩膜数据；通过预训练的图像修复模型的循环修复层迭代提取多个图像修复特征图及其掩膜数据；通过预训练的图像修复模型的融合解码层融合所述图像修复特征图及其掩膜数据提取中间修复图像；融合待修复图片及其掩膜数据和中间修复图像生成修复图像。2.根据权利要求1所述的图像修复方法，其特征在于，获取待修复图片及其目标区域图像的候选框数据，生成目标区域图像的掩膜数据，包括如下步骤：响应用户触发的广告发布请求，获取其相对应提交的广告发布信息，所述广告发布信息包含图片，从所述图片中获取待修复图片；响应用户触发的图像修复请求，获取目标区域图像的候选框数据；根据所述候选框数据获取目标区域图像的掩膜数据。3.根据权利要求1所述的图像修复方法，其特征在于，通过预训练的图像修复模型的循环修复层迭代提取多个图像修复特征图及其掩膜数据，包括如下步骤：采用部分卷积对输入图像特征图及其掩膜数据进行进一步特征提取，获得中间图像特征图及其掩膜数据；针对中间图像特征图进行多层卷积编码，获得多层编码特征图；针对部分后续编码特征图，进行逐层卷积解码，获得中间解码特征图；针对中间解码特征图进行循环特征权重分数修复，获得权重修复特征图；针对权重修复特征图和剩余编码特征图，进行逐层反卷积解码，获得修复特征图；根据修复特征图和中间图像特征图及其掩膜数据融合生成图像修复特征图，该图像修复特征图的掩膜数据即为中间图像特征图的掩膜数据；将图像修复特征图及其掩膜数据当成输入图像特征图及其掩膜数据重复以上步骤进行迭代，获得多个图像修复特征图及其掩膜数据。4.根据权利要求1和3所述的图像修复方法，其特征在于，针对中间解码特征图进行循环特征权重分数修复，获得权重修复特征图，包括如下步骤：针对所述中间解码特征图进行相似特征计算及归一化处理，获得当前循环相似特征权重图；融合当前循环相似特征权重图、前循环相似特征注意力图和前掩膜数据生成当前循环相似特征注意力图；针对当前循环相似特征注意力图进行反卷积得到特征修复系数图；合并特征修复系数图和输入特征图，经卷积操作后得到权重修复特征图。5.根据权利要求1所述的图像修复方法，其特征在于，通过预训练的图像修复模型的融合解码层根据所述图像修复特征图和掩膜修复特征图获取中间修复图像，包括如下步骤：融合所述多个图像修复特征图及其掩膜数据得到融合特征；针对所述融合特征进行解码操作，得到中间修复图像。2CN113902649A权利要求书2/2页6.根据权利要求1至5任意一项所述的图像修复方法，其特征在于，本方法还包括如下对所述图像修复模型实施训练的步骤：将所述图像修复模型作为生成器，判别模型作为判别器，初始化所述生成器的参数；调用训练集中的真实样本和调用所述生成器产生生成样本，经预训练的判别器进行特征提取后计算模型损失，进行反向更新模型参数；重复上述更新步骤，直至满足预设终止条件，则所述生成器即为所述预训练的图像修复模型。7.一种图像修复装置，其特征在于，包括：数据获取模块，获取待修复图片及其目标区域图像的候选框数据，生成目标区域图像的掩膜数据。主干网络模