一种基于编解码结构的多模态遥感图像语义分割方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115984701A(43)申请公布日2023.04.18(21)申请号202310071730.X(22)申请日2023.02.07(71)申请人无锡学院地址214105江苏省无锡市锡山大道333号(72)发明人吉茹张银胜张培琰杨宇龙周乐佳胡宇翔龙见洋(74)专利代理机构南京经纬专利商标代理有限公司32200专利代理师王慧(51)Int.Cl.G06V20/10(2022.01)G06V10/26(2022.01)G06V10/82(2022.01)G06N3/08(2023.01)G06N3/0464(2023.01)权利要求书1页说明书7页附图5页(54)发明名称一种基于编解码结构的多模态遥感图像语义分割方法(57)摘要本发明公开了一种基于编解码结构的多模态遥感图像语义分割方法，包括步骤如下：S1，获取包含可见光图像、DSM图像和标签图的遥感图像数据集，对遥感图像数据集进行预处理后，按照设定的比例划分为训练集、验证集和测试集；S2，搭建基于编解码结构的多模态遥感图像语义分割网络；S3，将训练集和验证集输入至多模态遥感图像语义分割网络中训练，计算交叉熵损失函数并进行反向传播，更新网络参数，获取最佳参数模型；S4，将测试集输入到训练好的最佳参数模型中，输出遥感图像的精确分割图。本发明能实现上采样信息充分恢复，提高遥感图像分割准确率。CN115984701ACN115984701A权利要求书1/1页1.一种基于编解码结构的多模态遥感图像语义分割方法，其特征在于，包括步骤如下：S1，获取包含可见光图像、DSM图像和标签图的遥感图像数据集，对遥感图像数据集进行预处理后，按照设定的比例划分为训练集、验证集和测试集；S2，搭建基于编解码结构的多模态遥感图像语义分割网络；S3，将训练集和验证集输入至多模态遥感图像语义分割网络中训练，计算交叉熵损失函数并进行反向传播，更新网络参数，获取最佳参数模型；S4，将测试集输入到训练好的最佳参数模型中，输出遥感图像的精确分割图。2.根据权利要求1所述基于编解码结构的多模态遥感图像语义分割方法，其特征在于，步骤S1中，将遥感图像数据集中的IRRG图、DSM图和标签图按顺序、同时裁剪为224×224大小的子图像；并将子图像数据集随机分为三个部分：训练集占80％，验证集占10％，测试集占10％。3.根据权利要求1所述基于编解码结构的多模态遥感图像语义分割方法，其特征在于，步骤S2中，所述多模态遥感图像语义分割网络包括编码模块、模态融合块、全局特征提取模块和解码模块；所述编码模块包括两个主干网络和Add模块，实现IRRG图像和DSM图像从低层细节特征到高层语义特征的分层特征提取和特征融合；所述模态融合块通过卷积操作从空间和通道的角度重新校准IRRG图像和DSM图像的特征映射，将DSM图像应用到IRRG图像特征中，实现多模态特征融合；所述全局特征提取模块通过卷积操作将全局上下文信息添加到所有位置来捕获远程依赖，实现全局特征提取；所述解码模块完成上采样特征融合和恢复，实现网络对遥感图像的精准语义分割。4.根据权利要求1所述基于编解码结构的多模态遥感图像语义分割方法，其特征在于，步骤S2中，所述多模态遥感图像语义分割网络的实现步骤如下：S21，将IRRG图像和DSM图像分别输入编码模块，分别得到DSM特征图和融合后的IRRG特征图；S22，将多模态特征图经过模态融合块处理后，得到融合多模态信息的特征图；S23，将融合多模态信息的特征图经过全局特征提取模块处理后，得到具有更多深层信息的全局特征图；S24，将全局特征图和融合后的IRRG特征图经过解码模块处理，得到遥感分割图。5.根据权利要求4所述基于编解码结构的多模态遥感图像语义分割方法，其特征在于，步骤S23中，先对融合特征图进行两次卷积操作实现网络的深层特征提取，再采用Sigmoid函数获取全局像素权重，最后对融合特征图进行加权操作输出全局特征图。6.根据权利要求1所述基于编解码结构的多模态遥感图像语义分割方法，其特征在于，步骤S3中，获取最佳参数模型的具体实现步骤如下：S31，对遥感图像语义分割网络进行参数随机初始化，将训练集和验证集数据输入多模态遥感图像语义分割网络，生成遥感图像的语义分割概率图，计算交叉熵损失；S32，交叉熵损失反向传播，更新网络参数，以损失函数最小作为优化目标，获取最佳参数模型并保存。2CN115984701A说明书1/7页一种基于编解码结构的多模态遥感图像语义分割方法技术领域[0001]本发明涉及图像处理方法，尤其涉及一种基于编解码结构的多模态遥感图像语义分割方法。背景技术[0002]近年来，深度卷积神经网络在语义分割等计算机视觉任务中展示了卓越的特征学习能力，并且在自然场