一种图像的超分辨率重建方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111461973A(43)申请公布日2020.07.28(21)申请号202010051767.2(22)申请日2020.01.17(71)申请人华中科技大学地址430074湖北省武汉市洪山区珞喻路1037号(72)发明人陶文兵陈中雨(74)专利代理机构华中科技大学专利中心42201代理人李智(51)Int.Cl.G06T3/40(2006.01)G06K9/62(2006.01)G06N3/08(2006.01)权利要求书2页说明书8页附图2页(54)发明名称一种图像的超分辨率重建方法及系统(57)摘要本发明公开了一种图像的超分辨率重建方法及系统，基于图像的通道注意力机制和位置注意力机制，在不同深度上提取各图像块上的特征后进行融合，有效的辨识了特征通道信息和位置信息的重要性，并且由于不同深度的特征对于图像超分辨率有着不同的贡献，本发明充分利用并融合不同深度特征，所得图像特征的在保留较大的感受野的同时也保留了更好的细节特征，基于该特征进行重建后，所得图像的超分效果较好。另外，本发明充分挖掘特征之间的联系，缓解了网络过深带来的性能瓶颈问题，且图像的特征表征能力较好，具有鲁棒性。CN111461973ACN111461973A权利要求书1/2页1.一种图像的超分辨率重建方法，其特征在于，包括以下步骤：S1、对待处理的低分辨率图像进行分块，得到多个图像块；S2、基于图像的通道注意力机制和位置注意力机制，在不同深度上提取各图像块的特征，得到各图像块对应的不同深度的特征图；S3、对各图像块对应的不同深度的特征图进行融合，根据图像超分倍数，对所得融合后的特征图进行图像重建，得到各超分辨率图像块；S4、将所得的各超分辨率图像块进行重组，得到高分辨率图像。2.根据权利要求1所述的图像的超分辨率重建方法，其特征在于，所述S2包括以下步骤：S21、采用卷积神经网络提取图像块的浅层特征，得到浅层特征图；S22、采用已训练好的深层特征提取网络，分别在不同深度上提取浅层特征图的通道注意力特征和位置注意力特征，将二者进行融合，得到图像块对应的不同深度的特征图；其中，所述深层特征提取网络包括N个级联的基于注意力模型的双注意力卷积神经网络，与N个深度一一对应，N为大于等于2的正整数。3.根据权利要求2所述的图像的超分辨率重建方法，其特征在于，所述双注意力卷积神经网络包括通道注意力模型、位置注意力模型和融合层；所述通道注意力模型的输出端与所述融合层的输入端相连，所述位置注意力模型的输出端与所述融合层的输入端相连；所述通道注意力模型用于基于通道注意力机制，通过计算输入特征图各通道的像素平均值，得到通道注意力初始权重，对其进行调整后，与输入特征图进行点乘，得到输入特征图的通道注意力特征；所述位置注意力模型用于基于位置注意力机制，通过在输入特征图各像素位置点处计算各通道像素的平均值，得到位置注意力初始权重，对其进行调整后，与输入特征图进行点乘，得到输入特征图的位置注意力特征；所述融合层用于将所得通道注意力特征和位置注意力特征进行融合。4.根据权利要求3所述的图像的超分辨率重建方法，其特征在于，第c个通道的通道注意力初始权重为：其中，c＝1,2,…,L，L为输入特征图X的通道数，H为输入特征图X的高，W为输入特征图X的宽，Xc(i,j)为输入特征图X第c个通道上第i行第j列的特征值。5.根据权利要求3所述的图像的超分辨率重建方法，其特征在于，第i行第j列的位置注意力初始权重为：其中，i＝1,2,…,H,j＝1,2,…,W，H为输入特征图X的高，W为输入特征图X的宽，δ为激活函数，L为输入特征图X的通道数，Xi,j,c为输入特征图X第c个通道上第i行第j列的特征值。6.根据权利要求1所述的图像的超分辨率重建方法，其特征在于，所述S3中对各图像块2CN111461973A权利要求书2/2页对应的不同深度的特征图进行融合的方法，包括：对图像块对应的不同深度的特征图在特征通道上拼接后，进行卷积降维，得到融合后的特征图。7.一种图像的超分辨率重建系统，其特征在于，包括：图像截取模块、特征提取模块、图像重建模块以及图像重组模块；所述图像截取模块用于对待处理的低分辨率图像进行分块，得到多个图像块，并输出到所述特征提取模块中；所述特征提取模块用于基于图像的通道注意力机制和位置注意力机制，在不同深度上提取所述图像截取模块输入的各图像块的特征，得到各图像块对应的不同深度的特征图，并输出到所述图像重建模块中；所述图像重建模块用于对各图像块对应的不同深度的特征图进行融合，根据所需图像超分倍数，对所得融合后的特征图进行图像重建，得到各超分辨率图像块，并输出到所述图像重组模块中；所述图像重组模块用于将图像重建模块输入