基于融合注意力机制残差网络的图像超分辨率重建方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111192200A(43)申请公布日2020.05.22(21)申请号202010002303.2(22)申请日2020.01.02(71)申请人南京邮电大学地址210023江苏省南京市栖霞区文苑路9号(72)发明人陈靖章韵(74)专利代理机构南京苏科专利代理有限责任公司32102代理人姚姣阳杜春秋(51)Int.Cl.G06T3/40(2006.01)权利要求书2页说明书9页附图1页(54)发明名称基于融合注意力机制残差网络的图像超分辨率重建方法(57)摘要本发明提出了一种基于融合注意力机制残差网络的图像超分辨率重建方法，解决了现有技术对图像的重建质量差，视觉效果不理想的问题。所研究的图像重建方法包括如下步骤：S1：数据采集和预处理，获取训练图像数据集和待重建图像数据集；S2：网络模型搭建，模型结构包括特征提取层、特征学习层以及图像重建层；S3：模型参数初始化、训练和保存，得到最优模型结构和最优参数集；S4：图像超分辨率重建，输入待重建图像，输出相应放大尺度下的高分辨率图像。本发明提出的图像超分辨率网络结合全局和局部残差结构，并且融合了通道注意力和空间注意力机制，更加关注图像高频信息，最大程度保留图像中的重要特征，减少重复冗余的特征，对于重建图像的细节和清晰度都有极大的提升。CN111192200ACN111192200A权利要求书1/2页1.基于融合注意力机制残差网络的图像超分辨率重建方法，其特征在于，包括如下步骤：S1、数据采集和预处理，获取用于训练的图像数据集和待重建的图像数据集，并根据重建目标和要求进行图像预处理操作；S2、网络模型搭建，构建用于图像超分辨率的卷积神经网络模型，该模型主要包括特征提取层、特征学习层和图像重建层三部分；特征提取层，用于对输入的低分辨率图像进行浅层特征提取，得到低分辨率图像的特征图；特征学习层，用于对低分辨率图像的特征图进行多重残差特征学习，得到高分辨率图像的特征图；图像重建层，用于将高分辨率图像的特征图重建，恢复为对应的放大倍数的高分辨率图像；S3、模型参数初始化、训练和保存，在训练开始前进行模型参数初始化；在训练过程中将训练数据输入卷积神经网络进行参数学习，利用梯度下降更新参数值，最小化损失函数，直至网络收敛；训练结束后保存最优模型结构和最优参数集；S4、图像超分辨率重建，将待重建图像输入最优网络模型，加载最优参数集，即可输出相应放大尺度下的高分辨率图像。2.根据权利要求1所述的基于融合注意力机制残差网络的图像超分辨率重建方法，其特征在于，所述步骤S1的具体方法如下：S11、采用标准公开数据集DIV2K作为训练数据集，采用Set5、Set14、BSD100和Urban100作为重建数据集；S12、采用双三次插值法对数据集高分辨率图像进行下采样操作，生成对应的低分辨率图像，从而获得包含多尺度放大倍率的训练数据；S13、采用数据增强方式对训练数据集图像进行旋转和翻转操作，从而扩充训练数据集的样本数量；S14、对训练数据集中的图像进行分割和裁剪操作，从而节省训练时间和计算开销；S15、对输入图像进行像素值规整化操作，从而使像素数据值分布更加均匀。3.根据权利要求1所述的基于融合注意力机制残差网络的图像超分辨率重建方法，其特征在于，所述步骤S2中卷积神经网络模型依次包括：S21、特征提取层，所述特征提取层由两个卷积层构成，用于提取低分辨率图像的浅层特征；S22、特征学习层，所述特征学习层由多个级联的融合通道和空间注意力机制的残差块组成，残差块内部采用局部跳跃连接结构，整个特征学习层采用全局跳跃连接结构；S23、图像重建层，所述特征重建层由上采样模块和重建卷积模块构成，用于将高层特征图恢复成高分辨率图像。4.根据权利要求3所述的基于融合注意力机制残差网络的图像超分辨率重建方法，其特征在于，所述步骤22中的特征学习层，具体包括：S221、残差块由特征预处理单元、通道注意力单元、空间注意力单元以及一个局部跳跃连接结构组成；S222、卷积神经网络模型中的特征学习层是通过将多个残差块级联在一条链状路线中构成；S223、在特征学习的最后阶段，使用一个卷积层进行特征高维映射，并利用全局跳跃连2CN111192200A权利要求书2/2页接将整个特征学习层的底层输入和顶层输出相连，进行全局残差学习。5.根据权利要求4所述的基于融合注意力机制残差网络的图像超分辨率重建方法，其特征在于，所述步骤S221中的残差块具体包括：S2211、特征预处理单元是由依次相连的卷积层、PReLU激活层、卷积层构成；S2212、通道注意力单元是由依次相连的全局平均池化层、扩展卷积层、PReLU激活层、收缩卷积层、Sigmoid激活层构成，通道注意力单元用