一种基于生成对抗网络的图像盲去模糊方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111612703A(43)申请公布日2020.09.01(21)申请号202010321335.9(22)申请日2020.04.22(71)申请人杭州电子科技大学地址310018浙江省杭州市下沙高教园区2号大街(72)发明人颜成钢朱尊杰孙垚棋张继勇张勇东(74)专利代理机构杭州君度专利代理事务所(特殊普通合伙)33240代理人朱月芬(51)Int.Cl.G06T5/00(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书3页附图1页(54)发明名称一种基于生成对抗网络的图像盲去模糊方法(57)摘要本发明提供一种基于生成对抗网络的图像盲去模糊方法。本发明首先建立用于网络训练的损失函数，包括对抗损失项(AdversarialLoss)和内容损失项(ContentLoss)；然后进行生成对抗网络结构的搭建；再采用基于随机轨迹的的运动模糊数据集生成方法，生成清晰-模糊图像对；最后采用生成的清晰-模糊图像对，训练生成对抗网络网络。本发明在低计算资源消耗的情况下，能做到相对较快的图像去模糊速度，并明显快于其他去模糊方法，本发明提出了一种基于随机轨迹的运动模糊数据集生成方法，可以任意生成大量的清晰-模糊图像对，以此更好的训练网络，提高网络的泛化能力。CN111612703ACN111612703A权利要求书1/2页1.一种基于生成对抗网络的图像盲去模糊方法，其特征在于，步骤如下：步骤1、建立用于网络训练的损失函数，包括对抗损失项(AdversarialLoss)和内容损失项(ContentLoss)；步骤2、生成对抗网络结构的搭建；步骤3、采用基于随机轨迹的的运动模糊数据集生成方法，生成清晰-模糊图像对；步骤4、采用步骤3生成的清晰-模糊图像对，训练生成对抗网络网络。2.根据权利要求1所述的一种基于生成对抗网络的图像盲去模糊方法，其特征在于，步骤1建立用于网络训练的损失函数，建立的损失函数包括对抗损失项(AdversarialLoss)和内容损失项(ContentLoss)，具体操作如下：L＝LA+α×LC(1)其中，LA是对抗损失项，LC是内容损失项；α为权重系数，最优化损失函数的目标是在只有模糊图IB的情况下恢复其对应的清晰图IS；采用WGAN-GP作为评判网络的评判函数D，用来批评生成函数G所生成的去模糊结果；对抗损失项作为评判函数对生成函数的评价，定义如下：其中N为训练中每次迭代的评价次数；由于传统的MSE等用于内容损失项计算的方法会导致去模糊图像上存在大量振铃效应等错误现象；采用PerceptualLoss计算内容损失项；其中φi,j是VGG19网络在第i个maxpoolinglayer(池化层)之前的第j个卷积后的二维特征图，Wi,j和Hi,j分别为该二维特征图的宽和高。3.根据权利要求2所述的一种基于生成对抗网络的图像盲去模糊方法，其特征在于，步骤2生成对抗网络结构的搭建，具体如下：所述的生成对抗网络包括生成网络与评判网络通过卷积神经网络分别构成生成网络与评判网络卷积神经网络包括两个步幅为二分之一的步进卷积块，九个残差块(ResBlocks)以及两个转置的卷积块；每个残差块中包含卷积层，实例规范化层和ReLU激活；在每个残差块中的第一个卷积层之后，添加以0.5概率进行的Dropout正则化；另外，通过全局跳过的连接方式直接将首层的输入传递给末尾层；通过这样的方式，生成对抗网络可以将模糊图像直接接触其对应的清晰图像，进而使生成对抗网络向清晰-模糊图像对学习残差校正IR，因此IS＝IB+IR。4.根据权利要求3所述的一种基于生成对抗网络的图像盲去模糊方法，其特征在于，步骤3采用基于随机轨迹的运动模糊数据集生成方法，生成清晰-模糊图像对，具体操作如下：遵循Boracchi和Foi提出的随机轨迹生成的思想；通过将子像素插值应用于轨迹矢量来生成模糊核；每个轨迹向量是一个复数值向量，它对应于连续域中2D随机运动后对象的离散位置，轨迹生成通过马尔可夫过程完成；2CN111612703A权利要求书2/2页在生成轨迹以及其对应的模糊核后，对清晰图生成其对应的模糊图，并组成清晰-模糊图对，用于生成对抗网络的训练。5.根据权利要求4所述的一种基于生成对抗网络的图像盲去模糊方法，其特征在于，步骤4采用步骤3生成的清晰-模糊图像对，训练生成对抗网络网络，具体操作如下：通过生成网络进行模糊图像的去模糊工作；同时，在训练过程中，再通过评判网络评价并反馈生成网络所生成的清晰图的效果，以对抗的方式同时训练两个网络。6.根据权利要求2所述的一种基于生成对抗网络的图像盲去模糊方法，其特征在于，进一步的，所述的权重系数α的值为100。