一种基于有监督长程相关的遥感图像语义分割方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115953577A(43)申请公布日2023.04.11(21)申请号202211536660.2G06N3/0464(2023.01)(22)申请日2022.12.01(71)申请人武汉大学地址430072湖北省武汉市武昌区珞珈山街道八一路299号(72)发明人季顺平余大文(74)专利代理机构武汉科皓知识产权代理事务所(特殊普通合伙)42222专利代理师王琪(51)Int.Cl.G06V10/26(2022.01)G06V10/46(2022.01)G06V10/774(2022.01)G06V10/82(2022.01)G06N3/048(2023.01)权利要求书3页说明书8页附图2页(54)发明名称一种基于有监督长程相关的遥感图像语义分割方法(57)摘要本发明涉及一种基于有监督长程相关的遥感图像语义分割方法。利用遥感影像以及人工标注的像素级语义类别真值图构建样本库，对基于有监督长程相关的遥感图像语义分割网络进行训练，学习遥感影像上每个类别地物要素的特征。利用训练好的网络模型对新的遥感影像进行语义分割，能够实现遥感影像高精度的像素级分类。在本发明方法中，长程相关性学习过程显式地利用语义类别真值图生成类别一致性约束，对计算出的相关性分数进行监督。这使得网络模型对于属于同类地物的像素提取出的特征具有更好的一致性，而对于属于不同类别的地物像素提取出的特征具有更明显的差异，从而能够有效地改善遥感影像语义分割的精度。CN115953577ACN115953577A权利要求书1/3页1.一种基于有监督长程相关的遥感图像语义分割方法，其特征在于，包括如下步骤：步骤1，构建有监督长程相关的语义分割网络，该网络用于学习遥感影像上不同类别地物对象的特征；所述的有监督长程相关的语义分割网络包括特征提取主干，长程相关监督模块，自适应感受野特征提取模块，多尺度侧边输出模块，和最终输出层；步骤2，利用光学遥感影像数据和人工标注的像素级语义类别真值图构建样本库，使用样本库和深度学习框架训练网络模型。通过加载训练好的网络模型权重对新的遥感影像进行预测，可实现对新遥感影像的像素级类别预测。2.根据权利要求1所述的一种基于有监督长程相关的遥感图像语义分割方法，其特征在于：所述特征提取主干采用残差网络ResNet，它以原始影像作为输入，由浅到深地进行特征提取，在这个过程中特征图的尺寸逐级下降，相对于原始影像2倍，到4倍，8倍，16倍，32倍下采样；特征提取主干提取出的2倍，到4倍，8倍，16倍下采样的特征图分别被输入到长程相关监督模块中进行长程信息交互；2倍，到4倍，8倍，16倍下采样的原始影像分别被输入到自适应感受野特征提取模块中提取不同尺寸物体的特征；32倍下采样特征经两组顺序堆叠的3×3的卷积+批归一化层+修正线性单元后进行自顶向下的上采样和特征融合；在每个尺度上，长程信息交互后的特征和对物体尺寸具有自适应性的特征被串联，然后与自顶向下的特征经上采样后进行融合；融合后的2倍，4倍，8倍，16倍特征被输入到侧边输出模块中预测对应尺度的预测图；2倍特征被进一步上采样，然后经过最终输出层处理，输出与输入影像分辨率保持一致的最终像素级语义类别概率图；逐像素计算像素级语义类别概率图沿着通道方向最大概率值的索引，根据索引与预先定义的类别间的对应关系可获得图像中每个像素所属的类别。3.根据权利要求1所述的一种基于有监督长程相关的遥感图像语义分割方法，其特征在于：所述长程相关监督模块，采用基于监督学习的自注意力模型实现，它分解特征图上任意两个位置特征的相关性计算，为垂直方向和水平方向分别执行的相关性计算；即长程相关监督模块先对特征图的每一列执行有监督的自注意力模型，再对特征图的每一行执行有监督的自注意力模型；通过将2维相关分解为2个1维相关，在减少运算过程显存占用的同时，仍然可以进行长距离的相关；在基于监督学习的自注意力模型中，基于语义类别真值图，生成不同像素间的类别一致性图，将属于同类像素的特征间相关性分数的学习目标值设置为1，不同类别像素的特征间的相关性分数学习目标值设置为0，然后使用L1损失函数对相关性分数进行监督。4.根据权利要求3所述的一种基于有监督长程相关的遥感图像语义分割方法，其特征H×W×C在于：在每个有监督的自注意力模型中，给定输入特征图Fin∈R，其中H，W,C表示特征图的长度，宽度和通道数，三个线性投影层将输入特征映射为三个不同的特征，即K∈RH×W×C,Q∈RH×W×C和V∈RH×W×C；然后对特征Q∈RH×W×C和K∈RH×W×C按按列/行做点乘运算，然后再使用softmax函数将输出值归一化到0‑1之间，获得相关性分数；以相关性分数为权重对特征V∈H×W×CH×W×CR的对应