基于注意力机制的图像盲去模糊方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111709895A(43)申请公布日2020.09.25(21)申请号202010553157.2(22)申请日2020.06.17(71)申请人中国科学院微小卫星创新研究院地址201203上海市浦东新区海科路99号申请人上海微小卫星工程中心(72)发明人林晨王子健尹增山(74)专利代理机构上海智晟知识产权代理事务所(特殊普通合伙)31313代理人李镝的(51)Int.Cl.G06T5/00(2006.01)G06T5/50(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书3页说明书11页附图8页(54)发明名称基于注意力机制的图像盲去模糊方法及系统(57)摘要本发明提供了一种基于注意力机制的图像盲去模糊方法及系统，包括：多尺度注意力网络采用端到端方式，直接恢复清晰图像；所述多尺度注意力网络采用非对称的编解码结构，所述编解码结构的编码侧采用残差密集网络块，以完成所述多尺度注意力网络对输入图像进行特征提取和表达；所述编解码结构的解码侧设置多个注意力模块，所述注意力模块输出初步复原图像，所述初步复原图像形成图像金字塔式的多尺度结构；所述注意力模块还输出注意力特征图，所述注意力特征图从全局角度建模远距离区域之间的关系处理模糊图像；暗通道先验损失和多尺度内容损失组成损失函数，损失函数是用来反向优化网络的，不是自身优化。CN111709895ACN111709895A权利要求书1/3页1.一种基于注意力机制的图像盲去模糊方法，其特征在于，所述基于注意力机制的图像盲去模糊方法包括：多尺度注意力网络采用端到端方式，直接恢复清晰图像；所述多尺度注意力网络采用非对称的编解码结构，所述编解码结构的编码侧采用残差密集网络块，以完成所述多尺度注意力网络对输入图像进行特征提取和表达；所述编解码结构的解码侧设置多个注意力模块，所述注意力模块输出初步复原图像，所述初步复原图像形成图像金字塔式的多尺度结构；所述注意力模块还输出注意力特征图，所述注意力特征图从全局角度建模远距离区域之间的关系处理模糊图像；暗通道先验损失和多尺度内容损失组成损失函数，所述损失函数用于反向优化网络。2.如权利要求1所述的基于注意力机制的图像盲去模糊方法，其特征在于，所述非对称的编解码结构包括：所述编码侧由四个卷积模块组成，每个尺度下包含步长为2的卷积层和三个残差连接的密集网络块；所述解码侧由三个注意力模块和重建模块组成，所述注意力模块与所述重建模块相互补充，自适应的校准特征图的重要性有助于重建信息；每个重建模块包含一个转置卷积层和三个瓶颈残差块；所述瓶颈残差块的结构由两个卷积层组成，先通过1×1卷积层增加通道维度，再通过3×3卷积核得到目标输出，每个卷积层之后均有非线性激活函数；所述编解码两侧相同尺寸的注意力特征图之间加入跳跃连接，通过相加完成低层特征与高层特征的融合。3.如权利要求1所述的基于注意力机制的图像盲去模糊方法，其特征在于，所述残差密集网络块包括：根据输入图像与输出图像之间的恒等映射完成残差学习，在图像复原过程中恒等映射将相似度达到阈值的输入图像与输出图像直接相连；所述残差密集网络块将上一个注意力模块的输出传递到当前注意力模块中每个卷积层的输入上，完成特征的连续传递；每个卷积层的输出通过在通道维度上的拼接，以密集连接的方式传递到之后各个卷积层的输入上；拼接后的密集特征通过卷积层进行非线性变换将多通道特征融合；在密集网络块的局部残差学习中使用残差缩放；残差密集网络块将残差网络块和密集网络块进行整合。4.如权利要求1所述的基于注意力机制的图像盲去模糊方法，其特征在于，所述注意力模块包括：所述注意力模块对于输入特征为1×1的图像进行非线性变换，生成通道数为64的注意力特征图；经过5×5预测卷积层将通道数压缩为3，输出当前分辨率下的清晰图像；将输出图像通过最近邻插值进行上采样，再通过非线性变换得到全局特征图；所述全局特征图包含从所述初步复原图像中提取的浅层特征，与解码侧的重建模块得2CN111709895A权利要求书2/3页到的深层特征在通道维度上进行拼接，调整不同空间位置上特征的重要性。5.如权利要求1所述的基于注意力机制的图像盲去模糊方法，其特征在于，所述损失函数包括：Ltotal＝λ1Ldarkchannel+λ2Lsub_content+λ3Lcontent(1)暗通道先验损失的系数λ1为25，注意力模块的内容损失系数λ2为5，输出的内容损失系数λ3为10。6.如权利要求1所述的基于注意力机制的图像盲去模糊方法，其特征在于，所述多尺度内容损失模块包括：网络优化过程中选择均方误差作为内容损失函数，通过计算网络输出图像与真实清晰图像之间逐像素误差的平