基于网络隐式先验的无监督高光谱融合方法及装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115760670A(43)申请公布日2023.03.07(21)申请号202310023010.6G06N3/0455(2023.01)(22)申请日2023.01.06G06N3/084(2023.01)G06N3/088(2023.01)(71)申请人之江实验室地址311100浙江省杭州市余杭区中泰街道之江实验室南湖总部申请人浙江工业大学(72)发明人俞再亮郏维强李鹏飞郑建炜王一张赵颖(74)专利代理机构杭州浙科专利事务所(普通合伙)33213专利代理师孙孟辉杨小凡(51)Int.Cl.G06T5/50(2006.01)G06T3/40(2006.01)G06N3/0464(2023.01)权利要求书3页说明书7页附图4页(54)发明名称基于网络隐式先验的无监督高光谱融合方法及装置(57)摘要本发明公开了基于网络隐式先验的无监督高光谱融合方法及装置，获取低分辨率高光谱和高分辨率多光谱图像；采用噪声对图像进行扰动；将噪声扰动后的图像输入至编码器‑解码器体系结构，进行多级特征学习，生成高分辨率高光谱图像的模糊估计；对模糊估计分别进行空间和光谱下采样；基于低分辨率高光谱图像与空间下采样的结果，高分辨率多光谱图像与光谱下采样的结果，计算退化模型的损失函数，反向传播退化模型的优化参数给编码器‑解码器体系结构；重复执行上述过程，直至生成高分辨率高光谱图像的模糊估计达到循环终止条件。本发明利用两个并行的特殊卷积块分别模拟空间和光谱下采样，形成一个闭环，实现了无训练样本条件下的无监督学习。CN115760670ACN115760670A权利要求书1/3页1.一种基于网络隐式先验的无监督高光谱融合方法，其特征在于包括如下步骤：步骤S1：获取待融合的低分辨率高光谱图像和高分辨率多光谱图像；步骤S2：采用噪声对所述图像进行扰动；步骤S3：将噪声扰动后的图像输入至编码器‑解码器体系结构，进行多级特征学习，生成高分辨率高光谱图像的模糊估计；步骤S4：对步骤S3中生成的模糊估计分别进行空间和光谱下采样；步骤S5：基于低分辨率高光谱图像与空间下采样的结果，高分辨率多光谱图像与光谱下采样的结果，计算退化模型的损失函数，反向传播退化模型的优化参数给编码器‑解码器体系结构；步骤S6、重复步骤S2至步骤S5，直至步骤S3生成高分辨率高光谱图像的模糊估计达到循环终止条件。2.根据权利要求1所述的基于网络隐式先验的无监督高光谱融合方法，其特征在于：所述步骤S2中，采用高斯核生成初始采样的噪声，使用随机产生的小噪声进行扰动，包括如下步骤：步骤S2.1：获取的低分辨率高光谱图像X的大小为宽w×高h×长L，高分辨率多光谱图像Y的大小为宽W×高H×长l；步骤S2.2：采用高斯核生成大小为W×H×L的初始采样噪声z0；步骤S2.3：随机生成大小为W×H×L且符合均匀分布的小噪声n，对初始采样噪声z0进行扰动，最终获得的输入：z=z0+βn其中，表示扰动系数。3.根据权利要求1所述的基于网络隐式先验的无监督高光谱融合方法，其特征在于：所述步骤S3中，编码器和解码器都由一组卷积模块组成，用于学习不同尺度的特征，编码器每个卷积模块的输出，都通过跳跃连接传输到解码器中对应尺度的卷积模块。4.根据权利要求3所述的基于网络隐式先验的无监督高光谱融合方法，其特征在于：所述编码器和解码器中的每个卷积模块包括一组卷积层，每个卷积层后执行激活和池化操作。5.根据权利要求1所述的基于网络隐式先验的无监督高光谱融合方法，其特征在于：所述步骤S4中，空间下采样如下：其中，表示空间下采样后的结果，表示步长为H/h的卷积操作，表示编码器‑解码器体系结构，H表示高分辨率多光谱图像的高，h表示低分辨率高光谱图像的高。6.根据权利要求1所述的基于网络隐式先验的无监督高光谱融合方法，其特征在于：所述步骤S4中，光谱下采样如下：其中，表示光谱下采样后的结果，表示输出通道数为l的逐点卷积操作，l表示高分辨率多光谱图像的长。2CN115760670A权利要求书2/3页7.根据权利要求1所述的基于网络隐式先验的无监督高光谱融合方法，其特征在于：所述步骤S5中，退化模型的损失函数具体如下：其中，表示F范数的平方，X表示低分辨率高光谱图像，Y表示高分辨率多光谱图像，表示空间下采样后的结果，表示光谱下采样后的结果，λ表示比例序数。8.一种基于网络隐式先验的无监督高光谱融合装置，包括图像获取模块、噪声扰动模块、编码器‑解码器模块和退化模块，其特征在于：所述图像获取模块，用于获取待融合的低分辨率高光谱图像和高分辨率多光谱图像；所述噪声扰动模块，采用噪声对所述图像进行扰动；所述编码器‑解码器模块，将噪声扰动后的图像输入至编码器‑解码器体系结构，进行多级特征学习，生成