可获得超分辨率融合图像的全色锐化方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115994855A(43)申请公布日2023.04.21(21)申请号202111204970.X(22)申请日2021.10.15(71)申请人四川大学地址610065四川省成都市武侯区一段路南一段24号申请人上海卫星工程研究所(72)发明人何小海刘刚刘屹霄任超熊淑华卿粼波(51)Int.Cl.G06T3/40(2006.01)G06T5/00(2006.01)G06N3/0464(2023.01)G06N3/048(2023.01)G06N3/08(2023.01)权利要求书1页说明书5页附图5页(54)发明名称可获得超分辨率融合图像的全色锐化方法(57)摘要本发明公开了一种可获得超分辨率融合图像的全色锐化方法。主要包括以下步骤：搭建基于全色迭代投影块组的全色图像超分辨率重建网络模型；预训练该模型，输出超分辨率二倍重建的全色图像；针对输入的低分辨率的多光谱图像和全色图像搭建初级融合网络模块；针对输入的低分辨率的多光谱图像、初级融合多光谱图像和超分辨率重建的全色图像，搭建多图输入的多图融合网络模块；初级融合网络模块和多图融合网络模块共同构成多级融合网络，利用训练数据集统一训练该融合网络，输出最终的融合结果。本发明所述的融合方法能获得很好的主客观效果。因此，本发明是一种有效的可获得超分辨率融合图像的全色锐化方法。CN115994855ACN115994855A权利要求书1/1页1.可获得超分辨率融合图像的全色锐化方法，其特征在于包括以下步骤：步骤一：搭建以全色迭代投影块组为主要的构建单元搭建用于全色图像超分辨率重建的网络模型；步骤二：利用步骤(1)的网络，训练重建倍数为2倍的超分辨率重建网络模型；步骤三：针对输入的全色图像，通过训练好的网络进行超分辨率重建，输出提升两倍分辨率的全色图像；步骤四：以残差块组为主要的构建单元，搭建初级融合网络模块；步骤五：以多图多尺度融合块组为主要构建单元，搭建多图融合网络模块；步骤六：以初级融合网络模块和多图融合网络模块构建多级融合网络模型；步骤七：利用训练图像数据集，训练步骤(6)中构建的网络；步骤八：以多光谱图像、全色图像以及超分辨率重建后的全色图像作为网络输入，输出最终的融合结果。2.根据权利要求1的可获得超分辨率融合图像的全色锐化方法，其特征在于步骤一所述的全色图像超分辨率重建的网络模型中的全色迭代投影块组，主要包括全色上采样块和全色下采样块；全色上采样块由注意力机制单元和上采样迭代反投影单元组成；注意力机制单元包括并联的最大池化和平均池化环节，输出结果串联后通过两个1×1的卷积层，再与最初的输入相乘；上采样迭代反投影单元先将输入特征图由6×6的卷积层上采样，再通过3×3的卷积层下采样，下采样的结果与输入特征图的差再通过一个6×6的卷积层上采样，最后与通过跳跃连接传递的第一次上采样的输出结果相加，输出最终上采样的结果；全色下采样块由注意力机制单元和下采样迭代反投影单元组成；注意力机制单元包括并联的最大池化和平均池化环节，输出结果串联后通过两个1×1的卷积层，再与最初的输入相乘；下采样迭代反投影单元先将输入特征图由3×3的卷积层下采样，再通过6×6的卷积层上采样，上采样的结果与输入特征图的差再通过一个3×3的卷积层下采样，最后与通过跳跃连接传递的第一次下采样的输出结果相加，输出最终下采样的结果；全色迭代投影块组可以较好地提取全色图像的细节特征，以获得令人满意的2倍超分辨率重建性能。3.根据权利要求1的可获得超分辨率融合图像的全色锐化方法，其特征在于步骤五所述的多图融合网络模块中的多图多尺度融合块组，主要包括一个多尺度特征提取器和残差注意力块组；特征提取器分别由3×3，5×5和7×7的三类不同卷积核来提取多张不同输入分辨率图像的特征信息；输出结果串联后通过一个3×3的卷积层，再将特征图送入残差注意力块组，该块组由四个残差注意力块级联组成，每个残差注意力块包括两个3×3的卷积层，一个并联的最大池化和平均池化环节，两个1×1的卷积层和若干跳跃连接；残差注意力块组的输出再经过一个3×3的卷积层后与长跳跃连接相加输出最终结果；多图多尺度融合块组可以有效提取多个不同分辨率的输入图像的特征信息，实现令人满意的最终融合性能。2CN115994855A说明书1/5页可获得超分辨率融合图像的全色锐化方法技术领域[0001]本发明涉及图像融合技术，具体涉及一种可获得超分辨率融合图像的全色锐化方法，属于图像处理领域。背景技术[0002]图像融合是信息融合领域的研究热点，全色锐化是一种实现多光谱图像和全色图像信息重组的图像融合技术。其合并由同一场景的不同传感器获取的多光谱图像和全色图像数据，利用相关性与互补性重建一幅信息丰富、鲁棒性强的新的多光谱图像