一种基于混合卷积神经网络的高光谱遥感图像分类方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115909052A(43)申请公布日2023.04.04(21)申请号202211326935.XG06V10/80(2022.01)(22)申请日2022.10.26G06V10/764(2022.01)G06V10/82(2022.01)(71)申请人杭州师范大学G06N3/0464(2023.01)地址311121浙江省杭州市余杭区余杭塘G06N3/047(2023.01)路2318号G06N3/048(2023.01)(72)发明人解山娟李明天徐人杰王新宇G06N3/08(2023.01)曹时仙(74)专利代理机构杭州君度专利代理事务所(特殊普通合伙)33240专利代理师朱月芬(51)Int.Cl.G06V20/10(2022.01)G06V20/13(2022.01)G06V10/44(2022.01)G06V10/58(2022.01)权利要求书2页说明书5页附图2页(54)发明名称一种基于混合卷积神经网络的高光谱遥感图像分类方法(57)摘要本发明公开了一种混合卷积神经网络的高光谱遥感图像分类方法。本发明包括：1、将3维和2维卷积神经网络进行串联，加入并行卷积块和非局部注意力模块，构建自定义的神经网络；2、将有标注的高光谱图像划分为若干有重叠的小数据立方体作为模型的输入；3、将样本按一定的比例划分为训练集和测试集；4、分批次将训练集样本输入神经网络进行训练，直到模型稳定；5、使用训练好的模型对高光谱图像进行分类，通过预先划分好的测试集评估模型的分类效果，并最终得到分类结果图。本发明充分利用高光谱遥感图像丰富的光谱信息和空间信息。同时在进行注意力操作的过程中使用1×1卷积压缩特征图通道维度，降低模型的计算量，提高模型的训练速度。CN115909052ACN115909052A权利要求书1/2页1.一种基于混合卷积神经网络的高光谱遥感图像分类模型，其特征在于包括多尺度特征提取及融合模块、空间‑光谱注意力模块、空间注意力模块和分类模块；多尺度特征提取及融合模块包括采用并行卷积块结构，且该模块中不同分路的卷积层使用不同尺寸的卷积核，每个卷积层后添加批量归一化层和激活层，卷积操作设置填充保持特征图大小一致，对不同分路获得的特征图Ⅰ进行融合，得到融合多尺度特征的特征图Ⅱ；空间‑光谱注意力模块使用非局部注意力机制对特征图Ⅲ进行注意力操作，通过卷积核尺寸为1的卷积层实现数据的降维，抑制特征图Ⅲ中的无关信息；非局部注意力机制在计算特征图中每个像素位置输出时，不再只对邻域像素进行计算而是对特征图中所有位置像素进行计算得到相关性，然后将相关性作为一个权重表征其他位置像素和当前待计算像素的相似度；由于高光谱图像同时具有空间维度和光谱维度，因此在空间维度和光谱维度同时进行非局部操作，通过计算特征图中像素间的相关性，获得更加全面的特征图Ⅳ；空间注意力模块同样使用非局部注意力机制对特征图进行注意力操作，使用2维卷积核，只在空间维度进行非局部操作，计算不同空间位置像素的相关性；分类模块包括全局平均池化层、一个全连接层及softmax分类函数；全局平均池化层将模型提取到的空间特征图进行聚合，压缩数据量，然后作为全连接层的输入，最后利用softmax函数进行分类。2.根据权利要求1所述的基于混合卷积神经网络的高光谱遥感图像分类模型，其特征在于所述的特征图Ⅲ是通过3维卷积层得到的，用于输入到空间‑光谱注意力模块中；所述的空间‑光谱注意力模块后串接两层卷积层+批量归一化层和激活层，用于进一步提取空间‑光谱特征图；所述的空间注意力模块后添加两层二维卷积层+批量归一化层和激活层，用于进一步提取空间特征图。3.根据权利要求1或2所述的基于混合卷积神经网络的高光谱遥感图像分类模型，其特征在于通过使用一层在光谱维度大小等同于空间‑光谱特征图数量的3维卷积层，将其深度归一，然后去除深度维度后的特征图Ⅴ与多尺度特征提取模块提取到的特征图Ⅱ聚合作为空间注意力模块的输入。4.一种基于混合卷积神经网络的高光谱遥感图像分类方法，其特征在于包括如下步骤：步骤(1)将3维卷积神经网络和2维卷积神经网络进行串联，加入并行卷积块和非局部注意力模块，构建自定义的神经网络；步骤(2)将有标注的高光谱图像划分为若干有重叠的H×W×C小数据立方体作为模型的输入；步骤(3)将样本按一定的比例划分为训练集和测试集；步骤(4)分批次将训练集样本输入神经网络进行训练，直到模型稳定；步骤(5)使用训练好的模型对高光谱图像进行分类，通过预先划分好的测试集评估模型的分类效果，并最终得到分类结果图。5.根据权利要求4所述的一种基于混合卷积神经网络的高光谱遥感图像分类方法，其特征在于步骤(1)中的神经网络分为两个分支，其中一个分支如下：一个分支