一种基于对称性引导的物体图像修复方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114998116A(43)申请公布日2022.09.02(21)申请号202210462197.5(22)申请日2022.04.28(71)申请人华南农业大学地址510640广东省广州市天河区五山路483号(72)发明人王栋吴睿民付升武梁云高月芳杨存义(74)专利代理机构佛山市君创知识产权代理事务所(普通合伙)44675专利代理师张燕玲(51)Int.Cl.G06T5/00(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书6页附图2页(54)发明名称一种基于对称性引导的物体图像修复方法(57)摘要一种基于对称性引导的物体图像修复方法，涉及图像处理技术领域，首先检测图像中残缺物体的对称轴，借助于对称轴获取物体的对称信息，将已知区域的对称信息填充到未知区域作为待填区域的初始值，解决原待修复区域信息为零的问题，然后在此基础上对图像进行有效修复。本发明有益效果：通过基于生成式对抗网络的物体对称轴检测技术，准确有效地检测到图像中具有残缺区域的对称物体的对称轴，最终能够生成结构合理、语义正确的对称物体图像，即使出现大面积残缺。CN114998116ACN114998116A权利要求书1/2页1.一种基于对称性引导的物体图像修复方法，其特征在于，包括以下步骤：步骤1、使用基于生成式对抗网络的对称轴生成器预测待修复图像中目标图像的对称轴IN_symmetry；步骤2、使用边缘生成器预测待修复图像上残缺区域的边缘得到梯度修复图步骤3、使用图像填充器填充步骤2中获取的梯度修复图完成图像修复。2.根据权利要求1所述的一种基于对称性引导的物体图像修复方法，其特征在于，所述步骤1中使用基于生成式对抗网络的对称轴生成器预测待修复图像中目标图像对称轴IN_symmetry的具体方法为：步骤1.1、将待修复图像灰度图IN_gray、待修复图像梯度图IN_sobel在特征通道上连接，输入到特征点图生成器G1中得到待修复图像的特定特征点图步骤1.2、对特征点图中的特征点进行线性拟合得到图像对称轴IN_symmetry；步骤1.3、将和标注的真实图像特定特征点图Ifeature输入到判别器D1中以优化生成器G1和判别器D1；对于判别器D1，其损失函数定义为：对于生成器G1，其损失函数定义为：其中，LFM为特征匹配损失函数，其作用是使生成器生成的特征点图与标注的真实图像特定特征点图的特征一致，计算公式如下：其中，表示判别器网络D1第i层输出，K表示网络的层数，Ni表示第i层的元素个数。这里L换成K，为了避免和损失函数中的L冲突。3.根据权利要求2所述的一种基于对称性引导的物体图像修复方法，其特征在于，所述待修复图像梯度图IN_sobel使用Sobel算子提取。4.根据权利要求1所述的一种基于对称性引导的物体图像修复方法，其特征在于，所述步骤2中使用边缘生成器预测待修复图像上残缺区域边缘的具体方法为：步骤2.1，将待修复图像灰度图IN_gray、待修复图像梯度图IN_sobel在特征通道上连接，输入到生成器特征编码网络G2_encoder中得到图像特征IN_feature；步骤2.2，将图像特征IN_feature、图像对称轴IN_symmetry输入生成器特征翻转网络G2_transpose得到翻转的图像特征步骤2.3，将两种图像特征IN_feature、在特征通道上连接，输入到生成器解码网络G2_decoder中得到梯度修复图步骤2.4，将梯度修复图和真实图像的梯度图Isobel输入到判别器D2中以优化生成器G2和判别器D2；对于判别器D2，其损失函数定义为：2CN114998116A权利要求书2/2页对于生成器G2，其损失函数定义为：其中，LFM为特征匹配损失函数，其作用是使生成器生成的梯度修复图与真实图像的梯度图的特征一致，计算公式如下：其中，表示判别器网络D1第i层输出，K表示网络的层数，Ni表示第i层的元素个数。5.根据权利要求1所述的一种基于对称性引导的物体图像修复方法，其特征在于，所述步骤3中使用图像填充器填充步骤2中获取的梯度修复图的具体方法为：步骤3.1，将待修复图像IN、梯度修复图在特征通道上连接，输入到生成器G3中生成完整修复图像I～；步骤3.2，将完整修复图像I～和真实图像I输入到一个通用的特征提取网络VGG19中，用以感知图像内容与结构是否合理，产生感知损失函数Lperceptual与风格化损失函数Lstyle，同～时对于真实图像I与完整修复图像I中的每一个像素点，产生损失函数L1；～步骤3.3，将完整修复图像I和真实图像I输入到判别器D3中以优化生成器G3和判别器D3；对于判别器D3，其损失函数定义为：对于生成器G3，