基于多流注意对抗网络的动态场景模糊图像盲复原方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110969589A(43)申请公布日2020.04.07(21)申请号201911216879.2(22)申请日2019.12.03(71)申请人重庆大学地址400030重庆市沙坪坝区沙正街174号(72)发明人李伟红崔金凯龚卫国(74)专利代理机构重庆华科专利事务所50123代理人康海燕(51)Int.Cl.G06T5/00(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书5页附图4页(54)发明名称基于多流注意对抗网络的动态场景模糊图像盲复原方法(57)摘要本发明提出一种基于多流注意力生成对抗网络的动态场景模糊盲复原方法。本发明首先设计了一种注意力引导模块，利用该模块生成具有在特征提取和去模糊过程中具有引导作用的注意力引导图，该引导图能够更多的关注模糊程度严重的区域或目标及其周围复杂的结构。另外，针对复杂的动态场景模糊信息，提出多流多尺度特征提取策略用于提取的复杂特征，并且设计一个多尺度残差块提取动态场景模糊图像的多尺度特征，捕获不同类型的模糊信息和更多纹理细节。最后，提出利用多尺度融合策略来获取更好的特征，并设计一个可学习的门结构来自适应融合来自不同流的多尺度特征。本发明可以更好地复原模糊程度较大的和复杂的动态场景模糊；进一步，还能提高复原图像的效率。CN110969589ACN110969589A权利要求书1/2页1.一种基于多流注意生成对抗网络的动态场景模糊图像盲复原方法，步骤如下：步骤1：将动态场景模糊图像分别送入注意力引导模块和多尺度特征提取模块，从注意力引导模块中得到注意力引导图，从多尺度特征提取模块中得到相应尺度的特征映射图和初步复原图像；步骤2：将注意力引导模块中输出的注意力引导图，连接最初的模糊图像输入注意力特征提取模块中，从注意力特征提取模块中也得到相应尺度的特征映射图和初步复原图像；步骤3：将从注意力特征提取模块和多尺度特征提取模块中分别获得的三个尺度的特征映射图和初步去模糊图像分别级联，然后分别输入到对应尺寸的多流多尺度融合重构模块中进行特征融合和图像重构；步骤4：将多流多尺度融合重构模块中最后输出的复原图像和清晰图像送入由五个卷积层组成的判别网络中进行判别，并反向优化网络，得到最终的复原结果。2.根据权利要求1所述的基于多流注意生成对抗网络的动态场景模糊图像盲复原方法，其特征在于，所述注意力引导模块由四个注意模块组成，每个所述注意模块由一个输入层、五个残差模块、一个卷积长短记忆(convolutionallongshorttermmemory,ConvLSTM)单元和一个输出层组成；残差模块由两个卷积核为3×3的卷积层分别跟随组归一化层和激活函数层组成；在每一个注意力模块中，利用最小均方差函数定义在t时刻注意力引导图At和标签M之间的注意力损失函数为：At＝ATTt(ft-1,ht-1,gt-1)其中At是t时刻注意力引导模块生成的引导图，ATTt是t时刻的注意力引导模块，ft-1是输入的模糊图像和上一时刻生成的引导图的连接，当t＝1时，是初始化注意力引导图，该初始化注意力引导图的所有像素值为α，在本发明中α取值为0.5，θN-t是不同时刻的权重。3.根据权利要求2所述的基于多流注意生成对抗网络的动态场景模糊图像盲复原方法，其特征在于，所述标签M是在生成注意力引导图时创建的一个二进制标签，方法是首先用清晰图像减去模糊图像的到一个残差标签；然后，为训练数据集中的所有图像设置阈值为β，β为清晰图像像素与模糊图像像素之差的阈值，将大于阈值β的像素设为1，小于阈值β的像素设为0，得到所述二进制标签M。4.根据权利要求1所述的基于多流注意生成对抗网络的动态场景模糊图像盲复原方法，其特征在于，所述多尺度特征提取模块由非对称的编码解码结构组成，其中编码器由三个尺度组成，每个尺度包括三个多尺度残差模块和两个步长为2的卷积层，解码器由两个转置卷积层组成；所述多尺度残差块是由四个卷积层组成，卷积核的大小分别为1×1,3×3,5×5用来提取特征和用于特征融合的卷积核大小为1×1输出层。5.根据权利要求1所述的基于多流注意生成对抗网络的动态场景模糊图像盲复原方法，其特征在于，在所述多尺度特征提取模块用LeakReLU替代ReLU作为激活函数，并且在每个多尺度残差块中采用局部残差学习。6.根据权利要求1所述的基于多流注意生成对抗网络的动态场景模糊图像盲复原方法，其特征在于，所述步骤3的多流多尺度特征融合模块包括三个尺度的自适应特征融合门结构Ggate、两个转置卷积层、一个卷积层和一个具有Tanh的卷积层；其中，所述自适应特征2CN110969589A权利要求书2/2页融合门结构Ggate主