一种基于生成对抗网络的图像运动模糊盲去除方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114841873A(43)申请公布日2022.08.02(21)申请号202210390732.0(22)申请日2022.04.14(71)申请人燕山大学地址066004河北省秦皇岛市海港区河北大街438号(72)发明人张玉存李涛米松涛(74)专利代理机构石家庄众志华清知识产权事务所(特殊普通合伙)13123专利代理师王忠良(51)Int.Cl.G06T5/00(2006.01)G06T7/13(2017.01)G06N3/08(2006.01)G06N3/04(2006.01)权利要求书1页说明书6页附图2页(54)发明名称一种基于生成对抗网络的图像运动模糊盲去除方法(57)摘要本发明提出了一种基于生成对抗网络的图像运动模糊盲去除方法。本发明首先在生成器中加入空间注意力模块，利用所有像素之间丰富的上下文信息来对复原图像中目标结构实施几何约束，引入全局信息以减少信息丢失。其次，采用局部‑全局双尺度判别器，以兼顾图像局部纹理和全局结构信息。最后，设计了多分量损失函数，联合约束模型进行图像高频边缘和细节的重建。本发明方法改进了单图像盲去运动模糊方法，可以从非均匀运动模糊图像中有效复原出结构更明显、细节更丰富的图像。该方法在目标跟踪、交通检测、医学成像、军事侦察等领域具有广泛的应用前景。CN114841873ACN114841873A权利要求书1/1页1.一种基于生成对抗网络的图像运动模糊盲去除方法，其特征在于包括以下步骤：步骤1、生成对抗网络结构的搭建，所述的生成对抗网络包括生成器与判别器；步骤2、建立用于网络训练的多分量损失函数；步骤3、训练生成对抗网络，保存收敛的模型参数；步骤4、测试训练好的生成对抗网络。2.根据权利要求1所述的一种基于生成对抗网络的图像运动模糊盲去除方法，其特征在于：所述步骤1所述的生成器的搭建步骤为首先采用卷积层对图像进行下采样，其次级联九个残差模块和两个交叉注意力模块，自适应地整合局部特征和全局依赖，然后使用两个转置卷积进行上采样，最后通过卷积层还原成3通道生成图像用于输出，另外，在整个生成器首尾加入全局残差连接。3.根据权利要求2所述的一种基于生成对抗网络的图像运动模糊盲去除方法，其特征在于：所述交叉注意力模块基于自注意力机制，通过计算特征图中每个像素点和其所在行和列上的其他像素点的相关性，进而获取所有特征位置上丰富的上下文信息。4.根据权利要求1所述的一种基于生成对抗网络的图像运动模糊盲去除方法，其特征在于：判别器采用双尺度判别器，双尺度判别器由一个局部纹理判别器和一个全局结构判别器组成；这两个判别器在网络结构和参数上均采用PatchGAN，局部纹理判别器接受的是生成图像和真实清晰图像被随机裁剪成的70×70大小的图像补丁对,全局结构判别器接受的是完整的生成图像和真实清晰图像对；综合两种判别器结果，指导生成器生成更真实清晰的图像。5.根据权利要求1所述的一种基于生成对抗网络的图像运动模糊盲去除方法，其特征在于，所述步骤2建立用于网络训练的多分量损失函数，具体如下：所述多分量损失函数为四种损失函数的加权求和：L＝αLadv+βLpercep+γLpixel+ηLgrad(3)其中，Ladv、Lpercep、Lpixel、Lgrad分别代表对抗损失、感知损失、像素空间损失和图像梯度差损失，超参数α、β、γ、η分别为0.04、0.006、0.4、0.4；对抗损失为相对平均最小二乘损失函数，感知损失为清晰图像和去模糊图像经预训练好的VGG‑19网络的第3个最大池化层之前的第3个卷积层后所获得的特征图的最小平方误差，像素级损失函数为生成图像和清晰图像对应像素的SmoothL1损失，梯度图像的L1损失为真实清晰图像和生成图像两者的梯度图像的最小绝对值误差。6.根据权利要求1所述的一种基于生成对抗网络的图像运动模糊盲去除方法，其特征在于：所述步骤3训练生成对抗网络，保存收敛的训练模型参数，具体如下：首先将数据集中模糊‑清晰图像对随机裁剪成尺寸为256×256×3，然后将模糊图像输入生成器，通过前向传播算法生成的去模糊图像与对应的真实清晰图像一起输入判别器，判别器对生成图像进行判别，输出真或假的判别结果，判别器通过损失函数计算出判别损失反向传播交替更新判别器和生成器的参数，在生成器和判别器的相互博弈中，得到复原能力更强的生成器，训练直到模型收敛，保存收敛后生成器的权重参数。7.根据权利要求1所述的一种基于生成对抗网络的图像运动模糊盲去除方法，其特征在于：所述步骤4测试训练好的生成对抗网络，具体如下：将待测试的模糊图像送入生成器，生成器利用保存好的权重参数生成相应的去模糊图像。2CN114841873A说明书1/6页一种基于生成对抗网络的图像运动模糊盲