一种基于知识引导的遥感影像融合方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113887619A(43)申请公布日2022.01.04(21)申请号202111157255.5(22)申请日2021.09.30(71)申请人山东农业大学地址271000山东省泰安市岱岳区岱宗大街61号(72)发明人张景涵李文轩张承明(74)专利代理机构济南誉丰专利代理事务所(普通合伙企业)37240代理人李茜(51)Int.Cl.G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书10页附图2页(54)发明名称一种基于知识引导的遥感影像融合方法(57)摘要本申请公开了一种基于知识引导的遥感影像融合方法，所述方法包括：基于高通滤波提取纹理细节并构建高通滤波模块以提取全色图像高频细节信息；提取多光谱图像的NDVI和NDWI信息；构建自适应SE模块，对输入特征进行挤压、激励；将自适应SE模块与卷积单元结合，对输入特征进行融合处理。根据全色图像与多光谱图像的特点引入NDVI和NDWI作为先验知识对融合过程进行约束。提高了融合过程中光谱信息的保真度，解决了图像融合过程中容易产生的光谱失真问题。CN113887619ACN113887619A权利要求书1/2页1.一种基于知识引导的遥感影像融合方法，其特征在于，所述方法包括：基于高通滤波提取纹理细节并构建高通滤波模块以提取全色图像高频细节信息；提取多光谱图像的NDVI和NDWI信息作为先验知识；构建自适应SE模块，对输入特征进行挤压、激励；将自适应SE模块与卷积单元结合，对输入特征进行融合处理。2.根据权利要求1所述的方法，其特征在于，所述基于高通滤波提取纹理细节并构建高通滤波模块以提取全色图像高频细节信息，包括：通过均值滤波器获取图像的低频信息；然后用原始图像减去低频信息获得高频信息，所述高频信息用于减少全色图像中的噪声信息对多光谱图像中光谱信息的影响。3.根据权利要求1所述的方法，其特征在于，所述提取多光谱图像的NDVI和NDWI信息，包括：分两次上采样提升多光谱图像的分辨率，，每一次采样在原来的基础上提升两倍；上采样后通过NDVI和NDWI的计算公式分别计算出上采样后多光谱图像的每个像素点的NDVI和NDWI的值。4.根据权利要求3所述的方法，其特征在于，NDVI和NDWI的计算公式为：式中，NIR、R和G分别表示多光谱图像近红外波段、红色波段和绿色波段的反射率。5.根据权利要求1所述的方法，其特征在于，所述自适应SE模块包括：一个全局平均池化层，两个全连接层，一个ReLu激活函数层和一个Sigmod激活函数层，自适应SE模块输入的特征图大小为c×h×w，其中c表示通道数，h表示高度，w表示宽度。6.根据权利要求5所述的方法，其特征在于，对输入特征进行挤压、激励，包括：全局平均池化层将输入的特征图压缩为c×1×1的大小；第一个全连接层将全局平均池化层中得到的结果降维到c/r×1×1的大小，r采用上一层卷积的通道数c；ReLu层对第一层全连接层的结果进行激活操作；第二个全连接层将特征升回到原始的维度；使用Sigmod激活函数为每个特征通道选择出适宜权重；最后将获得的权重乘到每个通道的特征上。7.根据权利要求5或6所述的方法，其特征在于，所述将自适应SE模块与卷积单元结合后获得本申请模型，所述本申请模型包括特征提取模块和图像融合模块；所述特征提取模块包括多光谱图像的特征提取单元和全色图像的特征提取单元；所述图像融合模块包括两个残差单元和两个注意力机制单元。8.根据权利要求7所述的方法，其特征在于，所述全色图像的特征提取单元包括：6个特征提取子单元，第一个和第二个特征提取子单元结构相同，分别包含两个3×3卷积层、两个ReLu激活函数层和一个空洞卷积层；第三、四、五、六个特征提取子单元结构相同，分别包含2CN113887619A权利要求书2/2页三个3×3卷积层、三个ReLu激活函数层和一个空洞卷积层；所述多光谱图像的特征提取单元包括：6个特征提取子单元，第一个和第二个特征提取子单元结构相同，分别包含两个3×3卷积层、两个ReLu激活函数层和一个空洞卷积层；第三、四、五、六个特征提取子单元结构相同，分别包含三个3×3卷积层、三个ReLu激活函数层和一个空洞卷积层；所述残差单元包括:两个卷积子单元和一个跳跃链接子单元，每个卷积子单元由一个卷积层、一个BN层和一个ReLu激活函数层组成；所述注意力机制单元包括：两个SE子单元组成，所述SE子单元由一个全局平均池化层，两个全连接层，一个ReLu激活函数层和一个Sigmod激活函数层组成；所述全局平均池化层将输入的特征进行压缩以得到全局的感受野，第一个全连接层对平均池化得到的结果进行降维；ReLu