一种基于循环生成对抗网络的图像运动盲去模糊方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112508817A(43)申请公布日2021.03.16(21)申请号202011484067.9(22)申请日2020.12.16(71)申请人西北工业大学地址710072陕西省西安市友谊西路127号(72)发明人王琦芦瑞龙李学龙(74)专利代理机构西北工业大学专利中心61204代理人金凤(51)Int.Cl.G06T5/00(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书3页说明书7页附图2页(54)发明名称一种基于循环生成对抗网络的图像运动盲去模糊方法(57)摘要本发明公开了一种基于循环生成对抗网络的图像运动盲去模糊方法，首先构建数据集，获取到数量比例为1：1的非成对的清晰与模糊图像作为输入数据；接下来构建生成器网络和鉴别器网络，然后定义损失函数，损失函数由对抗损失和域间循环不变损失组成；最后对鉴别器网络和生成器网络依次进行训练，使得两者达到纳什均衡的状态后训练完毕。本发明利用循环生成对抗网络的原理，在缺少成对数据支持的去模糊任务中有效的利用非成对的数据进行训练并产生较好的效果。CN112508817ACN112508817A权利要求书1/3页1.一种基于循环生成对抗网络的图像运动盲去模糊方法，其特征在于，包括以下步骤：步骤1：数据集的构建及预处理；将GOPRO数据集的训练集的前11个场景中的模糊图像作为模糊数据集，后11个场景中的清晰图像作为清晰数据集，清晰数据集和模糊数据集组成新训练集；再将新训练集中所有图像随机裁剪为多个256×256大小的图像并进行标准化处理，作为输入数据集；将GOPRO数据集的测试集作为新测试集；步骤2：构建生成器网络；生成器网络包括两个生成器，分别是模糊‑清晰生成器Gb2s和清晰‑模糊生成器Gs2b；两个生成器的作用分别为：模糊‑清晰生成器Gb2s将输入的模糊图像输出为对应的清晰图像，清晰‑模糊生成器Gs2b将输入的清晰图像输出为对应的模糊图像；两个生成器的结构一致，但参数不共享，均使用InstanceNorm作为归一化层、LeakyReLU作为激活层；具体结构如下：(1)输入模块：由一个卷积块构成，该卷积块包含通道为64，卷积核大小为7×7的卷积层，一个实例归一化层和一个ReLu激活层；(2)特征提取模块：由两个相同的卷积块组成，每个卷积块包含通道为128、卷积核大小为3×3的卷积层，一个实例归一化层和一个ReLu激活层；(3)残差密集学习模块：包含5个残差密集块RDB，每个残差密集块RDB包含了四个卷积块：其中前三个卷积块结构相同，都是由大小为3×3卷积核的卷积层、InstanceNorm归一化层和Relu激活层构成，前三个卷积块进行密集连接，再将残差密集块的输入和前三个卷积块中每个卷积块的输出通道共同构成4个特征图；再将4个特征图经过一个1×1的卷积核把通道数还原到残差密集块输入的大小，最后与残差密集块输入相加学习残差；(4)图像重构模块：由两个相同的卷积块组成，每个卷积块包含通道为128、卷积核大小为3×3的卷积层，一个实例归一化层和一个ReLu激活层；(5)输出模块：由一个卷积块构成，该卷积块包含通道为64、卷积核大小为7×7的卷积层，一个实例归一化层和一个ReLu激活层；步骤三：构建鉴别器网络；鉴别器网络包括两个鉴别器，分别是用于鉴别清晰图像的清晰鉴别器Ds和用于鉴别模糊图像的模糊鉴别器Db，两个鉴别器结构一致但参数不共享，具体结构如表1所不：表1：鉴别器结构2CN112508817A权利要求书2/3页步骤4：定义损失函数；网络的损失函数包括两部分：对抗损失和域间循环不变损失；对抗损失：其中G表示生成器，D表示鉴别器，b和s分别为模糊图像和清晰图像，则p(b)和p(s)分别为模糊图像的数据分布和清晰图像的数据分布；生成器G的目的是使生成的G(b)与s分布一致，鉴别器的目的是区分G(b)与s；域间循环不变损失：其中b和s分别为模糊图像和清晰图像，p(b)和p(s)分别为模糊图像的数据分布和清晰图像的数据分布；总的损失函数为：L(Gb2s，Gs2b，Ds，Db，s，b)＝Ladv(Gb2s，Ds，b，s)+Ladv(Gs2b，Db，s，b)+λLCycle(Gb2s，Gs2b，s，b)总的损失函数包括三部分：第一部分为模糊‑清晰生成器Gb2s的对抗损失，第二部分为清晰‑模糊生成器Gs2b的对抗损失，第三部分为域间循环不变损失；其中λ的作用是控制对抗损失和域间循环不变损失的重要程度；步骤5：将步骤1中的输入数据集输入到网络中，采用Adam优化算法对网络进行优化训练；步骤5‑1：训练鉴别器网络；训练真实数据：从输入数据集中分别取出