边缘引导多尺度特征融合的光学遥感图像地物分类方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115909081A(43)申请公布日2023.04.04(21)申请号202211317049.0G06V10/82(2022.01)(22)申请日2022.10.26G06N3/048(2023.01)G06N3/09(2023.01)(71)申请人北京理工大学地址100081北京市海淀区中关村南大街5号(72)发明人王裕沛师皓陈亮张皓然(74)专利代理机构北京理工大学专利中心11120专利代理师高会允(51)Int.Cl.G06V20/13(2022.01)G06V10/44(2022.01)G06V10/764(2022.01)G06V10/77(2022.01)G06V10/80(2022.01)权利要求书2页说明书5页附图2页(54)发明名称边缘引导多尺度特征融合的光学遥感图像地物分类方法(57)摘要本发明公开了边缘引导多尺度特征融合的光学遥感图像地物分类方法，涉及光学遥感图像处理技术领域，能够保留空间细节特征信息，并有效融合高层语义信息与低层细节信息，以得到精细准确的地物分类结果。包括以下步骤：主干网络对输入的光学遥感图像进行处理，获得多个不同层次的特征图，将不同层次的特征输入边缘特征提取模块，通过边缘真值图监督该模块的学习过程，并由卷积网络输出多尺度边缘感知特征。多尺度边缘感知特征和高层特征输入边缘引导特征融合模块，通过矩阵相关运算和卷积层实现多尺度的特征融合，得到融合特征，并通过上采样输出分割结果。最后由真值图监督分割结果，以监督整个学习过程。下面将详细介绍各个模块。CN115909081ACN115909081A权利要求书1/2页1.边缘引导多尺度特征融合的光学遥感图像地物分类方法，其特征在于，所述方法包括以下步骤：S1：主干网络对输入的光学遥感图像进行处理，所述主干网络包含多个层次的网络层级，每个网络层级得到一个第一多尺度特征图；主干网络输出多个第一多尺度特征图，送入边缘特征提取模块；S2：边缘特征提取模块接收每个所述第一多尺度特征图输入多个卷积层，学习多尺度特征信息，得到第二多尺度特征图；边缘特征提取模块对所述第二多尺度特征图进行尺寸统一，并通过拼接操作将多个尺寸统一的第二多尺度特征图拼接为一个特征图，再通过卷积层融合特征图，输出多尺度边缘感知特征；多尺度边缘感知特征送入边缘引导特征融合模块；S3：所述边缘引导特征融合模块对所述多尺度边缘感知特征进行矩阵变换，从三维变换为二维；变换后的矩阵为第一二维矩阵，第一二维矩阵与其转置矩阵进行乘积，得到像素级自相关系数图；所述边缘引导特征融合模块将由S1得到的最高层的第一多尺度特征图输入卷积层，并通过矩阵变换得到第二二维矩阵；第二二维矩阵与所述像素级自相关系数图进行矩阵乘积，得到第三二维矩阵；第三二维矩阵变换为三维形式，得到边缘融合特征图；所述边缘引导特征融合模块对所述边缘融合特征图通过卷积层，与S1得到的最高层的第一多尺度特征图进行自适应加权求和，得到加和结果；对所述加和结果进行线性上采样直至逐步恢复至与输入遥感图像同样大小的分辨率，得到地物分类结果。2.如权利要求1所述的边缘引导多尺度特征融合的光学遥感图像地物分类方法，其特征在于，所述S1中，主干网络采用ResNet101，其包含多个网络层级，每个层级由卷积层和池化层组成，所述主干网络对输入的遥感图像进行多个网络层级的卷积层和池化层处理。3.如权利要求1或2所述的边缘引导多尺度特征融合的光学遥感图像地物分类方法，其特征在于，所述S2中，每个所述第一多尺度特征图输入多个卷积层，学习多尺度特征信息，得到第二多尺度特征图，具体为：不同网络层级输出的第一多尺度特征图分别输入由1×1卷积层和3×3卷积层构成的边缘特征感知网络，输出得到第二多尺度特征图。4.如权利要求1所述的边缘引导多尺度特征融合的光学遥感图像地物分类方法，其特征在于，所述S3中，对所述第二多尺度特征图通过插值方法进行尺寸统一，并通过拼接操作将多个尺寸统一的第二多尺度特征图拼接为一个特征图，再通过卷积层融合拼接特征图，输出多尺度边缘感知特征，具体为：所述第二多尺度特征图通过双线性插值法，将尺寸统一为输入图像大小的1/8；统一尺寸大小的第二多尺度特征图，通过在通道维度上进行拼接，得到通道数为1024，尺寸为1/8输入图像的特征，并输入一个3×3卷积层，对拼接的特征进一步融合，输出多尺度边缘感知特征E。5.如权利要求1、2或4所述的边缘引导多尺度特征融合的光学遥感图像地物分类方法，其特征在于，所述边缘特征提取模块中，还包括监督过程：边缘特征提取模块将所述第二多尺度特征图，进一步输入卷积层，得到第三多尺度特2CN115909081A权利要求书2/2页征图，并通过加和操作得到监督边缘特征图；通过所述