一种多源遥感图像融合语义分割方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113762187A(43)申请公布日2021.12.07(21)申请号202111072627.4(22)申请日2021.09.14(71)申请人中国人民解放军海军航空大学地址264000山东省烟台市芝罘区二马路188号(72)发明人刘瑜谭大宁徐从安董凯孙顺丁自然(74)专利代理机构北京高沃律师事务所11569代理人董领逊(51)Int.Cl.G06K9/00(2006.01)G06K9/34(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)权利要求书2页说明书6页附图3页(54)发明名称一种多源遥感图像融合语义分割方法及系统(57)摘要本发明涉及一种多源遥感图像融合语义分割方法及系统。该方法包括通过编码网络对目标的多源遥感图像中不同模态的遥感数据分别进行下采样，同时利用通道网络对不同模态的遥感数据对应的分支网络进行通道交换，确定分支网络对应的多分辨率的特征图；对分支网络对应的多分辨率的特征图进行通道拼接，并利用transformer编码器对拼接后的特征图进行长距离依赖项的建模，并输出特征图；利用解码网络对特征图进行解码，确定目标的分割结果；所述分割结果为分割掩膜。本发明能够提供多源遥感图像融合中的全局特征提取的准确性和数据利用率。CN113762187ACN113762187A权利要求书1/2页1.一种多源遥感图像融合语义分割方法，其特征在于，包括：通过编码网络对目标的多源遥感图像中不同模态的遥感数据分别进行下采样，同时利用通道网络对不同模态的遥感数据对应的分支网络进行通道交换，确定分支网络对应的多分辨率的特征图；不同模态的遥感数据包括：全色PAN、多光谱MS和合成孔径雷达SAR三种模态的遥感数据；分支网络包括：PAN分支网络、MS分支网络和SAR分支网络；对分支网络对应的多分辨率的特征图进行通道拼接，并利用transformer编码器对拼接后的特征图进行长距离依赖项的建模，并输出特征图；利用解码网络对特征图进行解码，确定目标的分割结果；所述分割结果为分割掩膜。2.根据权利要求1所述的一种多源遥感图像融合语义分割方法，其特征在于，所述对分支网络对应的多分辨率的特征图进行通道拼接，并利用transformer编码器对拼接后的特征图进行长距离依赖项的建模，并输出特征图，具体包括：对拼接后的特征图的空间维度折叠为一维序列；利用公式z0＝f+PE生成特征嵌入；根据特征嵌入依次输入多个transformer层中，确定特征图，并将特征图的尺寸恢复成与多分辨率的特征图的相同的尺寸；所述transformer层包括：多头注意力MHA块和前馈网络FFN；其中，代表位置嵌入，为特征嵌入，f为一维序列。3.根据权利要求2所述的一种多源遥感图像融合语义分割方法，其特征在于，第l个transformer层具体包括：z′l＝MHA(LN(zl‑1))+zl‑1；zl＝FFN(LN(z′l))+z′l；其中，LN(*)表示标准化层，zl为第l个transformer层的输出，zl‑1为第l‑1个transformer层的输出，z′l为多头注意力MHA块输出。4.根据权利要求1所述的一种多源遥感图像融合语义分割方法，其特征在于，所述利用解码网络对特征图进行解码，确定目标的分割结果，具体包括：解码网络在上采样的过程中与PAN分支网络的各级输出的多分辨率的特征图进行像素级拼接，通过跳跃连接将编码网络中的多分辨率的特征图与transformer编码器输出的特征图进行融合，确定目标的分割结果。5.一种多源遥感图像融合语义分割系统，其特征在于，包括：多分辨率的特征图提取模块，用于通过编码网络对目标的多源遥感图像中不同模态的遥感数据分别进行下采样，同时利用通道网络对不同模态的遥感数据对应的分支网络进行通道交换，确定分支网络对应的多分辨率的特征图；不同模态的遥感数据包括：全色PAN、多光谱MS和合成孔径雷达SAR三种模态的遥感数据；分支网络包括：PAN分支网络、MS分支网络和SAR分支网络；特征图输出模块，用于对分支网络对应的多分辨率的特征图进行通道拼接，并利用transformer编码器对拼接后的特征图进行长距离依赖项的建模，并输出特征图；分割结果确定模块，用于利用解码网络对特征图进行解码，确定目标的分割结果；所述分割结果为分割掩膜。2CN113762187A权利要求书2/2页6.根据权利要求5所述的一种多源遥感图像融合语义分割系统，其特征在于，所述特征图输出模块具体包括：空间维度折叠单元，用于对拼接后的特征图的空间维度折叠为一维序列；特征嵌入生成单元，用于利用公式z0＝f+PE生成特征嵌入；特征图确定单元，用于根据特征嵌入依次输入多个transform