一种SAR图像转光学图像的转换方法及装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115100091A(43)申请公布日2022.09.23(21)申请号202210719467.6(22)申请日2022.06.23(71)申请人中国人民解放军国防科技大学地址410073湖南省长沙市开福区德雅路109号(72)发明人邹焕新魏娟孙丽曹旭李美霖贺诗甜刘烁(74)专利代理机构长沙国科天河知识产权代理有限公司43225专利代理师邱轶(51)Int.Cl.G06T5/50(2006.01)G06T3/00(2006.01)G06V10/74(2022.01)G06V10/774(2022.01)权利要求书3页说明书11页附图4页(54)发明名称一种SAR图像转光学图像的转换方法及装置(57)摘要本申请涉及一种SAR图像转光学图像的转换方法及装置，所述方法包括：获取SAR图像以及对应的光学图像组成训练集；将训练集中的SAR图像和光学图像输入CFR‑GAN模型，输出判别结果，其中，CFR‑GAN模型包括生成网络和鉴别网络，生成网络包括编码器、交叉融合推理结构、解码器；将光学图像和判别结果输入预先构建的总损失函数，对模型进行训练，得到CFR‑GAN优化模型；将待处理的SAR图像输入CFR‑GAN优化模型进行转换，得到光学转换图像。采用本方法能够利用CFR‑GAN优化模型中的交叉融合推理结构在不同分辨率下实现不同尺度的SAR图像到光学图像的转换，保留了SAR图像每个尺度的特征信息，从而提升了SAR图像转光学图像的转换性能。CN115100091ACN115100091A权利要求书1/3页1.一种SAR图像转光学图像的转换方法，其特征在于，所述方法包括：获取SAR图像以及对应的光学图像，组成训练集；将训练集中的所述SAR图像和所述光学图像输入CFR‑GAN模型，输出判别结果，其中，CFR‑GAN模型包括生成网络和鉴别网络，所述生成网络包括编码器、交叉融合推理结构、解码器；所述编码器对所述SAR图像进行编码，得到SAR图像特征，所述交叉融合推理结构对所述SAR图像特征进行推理，得到伪光学图像特征，所述解码器对所述伪光学图像特征进行解码，得到伪光学图像；所述鉴别网络对所述光学图像和所述伪光学图像进行判别，输出判别结果；将所述光学图像和所述判别结果输入预先构建的损失函数，对所述CFR‑GAN模型进行训练，得到CFR‑GAN优化模型；将待处理的SAR图像输入所述CFR‑GAN优化模型进行转换，得到光学转换图像。2.根据权利要求1所述的方法，其特征在于，所述交叉融合推理结构对所述SAR图像特征进行推理，得到伪光学图像特征，包括：将所述SAR图像特征分为两种不同尺度的图像特征x1和图像特征x2，将所述图像特征x1和图像特征x2分别输入三层残差块进行卷积，得到第一阶段输出特征图p1和p2；将所述第一阶段输出特征图p1和p2进行交叉融合，得到第二阶段输入特征图y1、y2和y3，将所述第二阶段输入特征图y1、y2和y3分别输入三层残差块进行卷积，得到第二阶段输出特征图q1、q2和q3；将所述第二阶段输出特征图q1、q2和q3进行交叉融合，得到第三阶段输入特征图z1、z2、z3和z4，将所述第三阶段输入特征图z1、z2、z3和z4分别输入三层残差块进行卷积，得到第三阶段输出特征图k1、k2、k3和k4；将所述第三阶段输出特征图k1、k2、k3和k4进行融合，得到所述伪光学图像特征。3.根据权利要求2所述的方法，其特征在于，将所述第一阶段输出特征图p1和p2进行交叉融合，得到第二阶段输入特征图y1、y2和y3，包括：将所述p1和经过一次上采样的所述p2进行融合，得到所述第二阶段输入特征图y1；将所述p2和经过一次降采样的所述p1进行融合，得到所述第二阶段输入特征图y2；将经过两次降采样的所述p1和经过依次降采样的所述p2进行融合，得到所述第二阶段输入特征图y3。4.根据权利要求2所述的方法，其特征在于，将所述第二阶段输出特征图q1、q2和q3进行交叉融合，得到第三阶段输入特征图z1、z2、z3和z4，包括：将所述q1、经过一次上采样的所述q2和经过两次上采样的所述q3进行融合，得到所述第三阶段输入特征图z1；将所述q2、经过一次降采样的所述q1和经过两次上采样的所述q3进行融合，得到所述第三阶段输入特征图z2；将所述q3、经过两次降采样的所述q1和经过一次降采样的所述q2进行融合，得到所述第三阶段输入特征图z3；将经过三次降采样的所述q1、经过两次降采样的所述q2和经过一次降采样的所述q3进行融合，得到所述第三阶段输入特征图z4。5.根据权利要求3至4任意一项所述的方法，其特征在于，根据最近邻插值算法进行上2CN115100091A权利要求书2/3页采样，根据核大小为3×3、步幅为2的