一种基于双边融合的遥感图像语义分割方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115565079A(43)申请公布日2023.01.03(21)申请号202211214138.2(22)申请日2022.09.30(71)申请人南京理工大学地址210094江苏省南京市孝陵卫200号(72)发明人李东徽刘嘉张文华刘芳张安迪江凯旋(74)专利代理机构南京理工大学专利中心32203专利代理师陈鹏(51)Int.Cl.G06V20/13(2022.01)G06V10/26(2022.01)G06V10/80(2022.01)G06V10/82(2022.01)G06V10/774(2022.01)权利要求书2页说明书4页附图2页(54)发明名称一种基于双边融合的遥感图像语义分割方法(57)摘要本发明公开了一种基于双边融合的遥感图像语义分割方法，该方法包括以下步骤：输入单幅遥感图像；构造用于风格迁移的生成器；构造基于双边融合方式的卷积神经网络；生成并迭代优化学习模型；输出语义分割结果。本发明的特点在于定义了一个针对遥感图像的语义分割模型，可以克服因图像噪声引起的漏检、误检问题，增强了遥感图像的分割效果，提高了语义分割的准确率；本发明可广泛应用于国土资源和精准农业领域的目标定位和检测。CN115565079ACN115565079A权利要求书1/2页1.一种基于双边融合的遥感图像语义分割方法，其特征在于，包括以下步骤：步骤1，输入单幅遥感图像；步骤2，构造生成器，用于实现图像的风格迁移；步骤3，构建基于双边融合机制的卷积神经网络，网络的输入来自原始图像和步骤2构造的生成器；首先将原始图像与风格迁移后的图像融合，再经过注意力模块加强特征，然后经过神经网络卷积，得到每轮迭代的输出结果；步骤4，生成并迭代优化学习模型，根据损失函数对模型进行调整；步骤5，输出语义分割结果。2.根据权利要求1所述的基于双边融合的遥感图像语义分割方法，其特征在于，步骤2所述的构造生成器，用于实现图像的风格迁移，具体步骤如下：使用两组不同风格的图片X，Y分别训练两个生成器GX，GY；取与原始图像X对应的生成器GX及其参数PX；经生成器进行风格迁移处理得到的特征图定义为X′。3.根据权利要求2所述的基于双边融合的遥感图像语义分割方法，其特征在于，步骤3所述的构造基于双边融合方式的卷积神经网络，具体步骤如下：(1)原始图像与X′融合，融合结果为Xconcat，即仅在通道数上实现融合，图像长宽不发生改变；(2)引入注意力机制优化融合图像，注意力机制的步骤如下：①将输入特征图Xconcat经过三个不同的1×1卷积，得到查询向量q，键向量k，值向量v三个向量；②将q，k，v三个向量调整为二维矩阵，分别用表示；③将矩阵与的转置矩阵相乘，经过非线性激活函数softmax处理得到权重系数A；④采用归一化操作处理特征图：其中，C′表示特征的通道数；表示键向量经调整得到的矩阵的转置矩阵；表示查询向量q经调整得到的二维矩阵；softmax(·)表示非线性激活函数softmax。⑤将矩阵A乘以值向量v，得到每个输入向量的加权向量矩阵⑥将调整为三维特征向量，用Y表示：⑦将向量Y与输入向量相加得到最终的输出结果Z：其中，Z为输出特征图，是残差映射函数，表示每个特征向量之间的相似度关系；(3)构建基于编码器‑解码器形式的卷积神经网络模型，定义输入特征图为X，则定义特征函数如下：Xi＝fi(X1)其中，X1代表输入的特征图像，fi(·)表示每层卷积操作得到的特征图，i为层数；网络以最后一层的输出作为单次迭代最终的语义分割图像结果。2CN115565079A权利要求书2/2页4.根据权利要求1所述的基于双边融合的遥感图像语义分割方法，其特征在于，步骤4生成并迭代优化学习模型，并定义损失函数如下：其中，X表示输入特征图，p(X)和X′均表示网络模型处理输入特征图得到的输出结果，Y表示与X′和p(X)对应的标签图像。5.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1‑4中任一所述的方法的步骤。6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1‑4中任一所述的方法的步骤。7.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1‑4中任一所述的方法的步骤。3CN115565079A说明书1/4页一种基于双边融合的遥感图像语义分割方法技术领域[0001]本发明属于语义分割领域，具体涉及一种基于双边融合的遥感图像语义分割方法。背景技术[0002]图像语义分割是指像素级别地识别图像，即标注图像中每个像素所属的对象类别的过程。语义分割在诸多图像处理应用中发挥关键作用，