一种基于生成对抗网络的遥感图像融合方法、系统和终端.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110211046A(43)申请公布日2019.09.06(21)申请号201910509396.5(22)申请日2019.06.12(66)本国优先权数据201910480272.92019.06.03CN(71)申请人重庆邮电大学地址400065重庆市南岸区崇文路2号(72)发明人雷大江张策张莉萍彭艳辉陈浩贾朝龙吴渝(74)专利代理机构广州三环专利商标代理有限公司44202代理人郝传鑫贾允(51)Int.Cl.G06T3/40(2006.01)G06T5/50(2006.01)权利要求书2页说明书6页附图3页(54)发明名称一种基于生成对抗网络的遥感图像融合方法、系统和终端(57)摘要本发明公开了一种基于生成对抗网络的遥感图像融合方法，包括：采用差分算子提取原始全色图像的空间结构信息，采样原始的多光谱图像；将空间结构信息与采样的多光谱图像在特征域拼接，得样本图像；将样本图像输入生成对抗网络的生成器，生成融合图像；将融合图像和真实图像输入生成对抗网络的判别器进行判别区分，在生成器与判别器间建立对抗规则及融合目标函数，优化融合图像。采用本发明所公开的基于生成对抗网络的遥感图像融合方法，采用差分算子保留了原始全色图像的空间结构信息，采样方法保留了原始低分辨率多光谱图像的光谱信息，有效减少了融合过程中细节信息的丢失；此外，通过在生成器和判别器间建立对抗规则及融合目标函数，大大优化了融合的效果。CN110211046ACN110211046A权利要求书1/2页1.一种基于生成对抗网络的遥感图像融合方法，其特征在于，所述遥感图像融合方法包括：获取原始全色图像及对应的原始多光谱图像；采用差分算子提取所述原始全色图像的空间结构信息，并采样所述原始的多光谱图像；将所述空间结构信息与采样的所述多光谱图像在特征域拼接，得到样本图像；将所述样本图像输入生成对抗网络的生成器，生成融合图像；将所述融合图像和真实图像输入生成对抗网络的判别器进行判别区别，在生成器与判别器间建立对抗规则，优化融合图像。2.根据权利要求1所述的一种基于生成对抗网络的遥感图像融合方法，其特征在于，所述优化融合图像的步骤包括：所述判别器判别所述融合图像是否为真实图像；若否，则通过融合目标函数最小化所述融合图像与所述真实图像间的差距，并将判别结果反馈至所述生成器；根据所述判别结果，调整所述生成器的融合规则，优化所述融合图像；若是，则所述融合图像为最优融合图像。3.根据权利要求2所述的一种基于生成对抗网络的遥感图像融合方法，其特征在于，所述融合目标函数为：其中，P表示全色图像，Y表示低分辨率多光谱图像，b＝1,2,…B表示低分辨率多光谱图像的通道数，Y↑为上采样后的低分辨率多光谱图像，X＝(X1,X2,…XB)表示真实图像的大小，分别表示全色图像在水平方向和垂直方向的梯度信息。4.根据权利要求1所述的一种基于生成对抗网络的遥感图像融合方法，其特征在于，提取所述原始全色图像的空间结构信息的步骤为：采用差分算子提取所述原始全色图像的空间结构信息；所述空间结构信息包括水平方向的梯度信息和垂直方向的梯度信息。5.根据权利要求1所述的一种基于生成对抗网络的遥感图像融合方法，其特征在于，采2CN110211046A权利要求书2/2页样所述多光谱图像的步骤为：上采样所述原始的多光谱图像，使得采样的多光谱图像的大小与所述原始全色图像的大小一致。6.根据权利要求1所述的一种基于生成对抗网络的遥感图像融合方法，其特征在于，将所述空间结构信息与采样的所述多光谱图像拼接输入生成器之前，所述遥感图像融合方法还包括：构成生成器和判别器；所述生成器采用多流融合架构。7.一种基于生成对抗网络的遥感图像融合系统，其特征在于，所述遥感图像融合系统包括：原始图像获取模块：用于获取原始全色图像及对应的原始多光谱图像；空间结构信息提取模块：用于提取所述原始全色图像的空间结构信息；采样模块：用于采样所述原始多光谱图像；融合模块：用于生成融合图像；优化模块：用于优化融合图像。8.根据权利要求7所述的一种基于生成对抗网络的遥感图像融合系统，其特征在于，所述融合模块包括：拼接模块：用于拼接成样本图像。9.根据权利要求7所述的一种基于生成对抗网络的遥感图像融合系统，其特征在于，所述遥感图像融合系统还包括：构造模块：用于构造生成器和判别器。10.一种基于生成对抗网络的遥感图像融合终端，其特征在于，所述遥感图像融合终端包括：处理器，用于执行一条或一条以上的可读性指令；存储器，存储有一条或一条以上的可读性指令，所述一条或一条以上的可读性指令适用于所述处理器加载并执行以实现如权利要求1-6任意一项所述的基于生成对抗网络的遥感图像融合方法。3CN110211046A