基于多路注意力机制的语义卷积高光谱图像分类方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112052755A(43)申请公布日2020.12.08(21)申请号202010854614.1(22)申请日2020.08.24(71)申请人西安电子科技大学地址710071陕西省西安市太白南路2号(72)发明人张中强高大化刘丹华石光明(74)专利代理机构陕西电子工业专利中心61205代理人王品华(51)Int.Cl.G06K9/00(2006.01)G06K9/46(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书3页说明书8页附图3页(54)发明名称基于多路注意力机制的语义卷积高光谱图像分类方法(57)摘要本发明公开了一种多路注意力机制的语义卷积高光谱图像分类方法，主要解决现有技术对提取特征利用率不足所造成信息丢失，或者保留过多无关信息造成信息冗余的问题。其方案是：1)输入高光谱图像，生成样本数不同的训练样本集和测试样本集；2)构建多路注意力机制的语义卷积神经网络；3)将训练样本集分次输入到多路注意力机制的语义卷积神经网络，利用随机梯度下降法对该网络进行训练，直到focalloss损失函数收敛；4)将测试样本输入到训练好的多路注意力机制的语义卷积神经网络得到分类结果。本发明能在少训练样本下获得高准确率的分类，可用于对高光谱图像的地物种类探测。CN112052755ACN112052755A权利要求书1/3页1.一种基于多路注意力机制的语义卷积高光谱图像分类方法，其特征在于，包括如下：(1)输入原始三维高光谱图像，并在高光谱图像边缘填充0像素的尺寸t；再在填充操作后的高光谱图像中，以每个像素点为中心，选取高光谱图像块；(2)用高光谱图像块生成样本数不同的训练样本集和测试样本集；(3)搭建多路注意力机制的语义卷积神经网络；(3a)搭建谱分支网络：(3a1)构建由三个卷积层，三个归一化层，三个Mish激活函数层组成的谱间稠密特征提取模块；(3a2)构建由M路谱间注意力机制子模块线性相加组成的多路谱间注意力机制模块，每一路谱间注意力机制子模块包括reshape层、矩阵转置与相乘层、softmax层、数据reshape层和相加层；(3a3)将谱间稠密特征提取模块与多路谱间注意力机制模块串联，组成谱分支网络；(3b)搭建空间分支网络：(3b1)构建由尺度操作层、卷积层、归一化层、Mish激活函数层、拼接层组成的多尺度空间特征提取模块；(3b2)构建由N路空间注意力机制子模块线性相加组成的多路空间注意力机制模块，每一路空间注意力机制子模块包括卷积层、归一化层、Mish激活函数层、reshape层、矩阵转置与相乘层、softmax层、数据reshape层和相加层；(3b3)将多尺度空间特征提取模块和多路空间注意力机制模块相串联，组成空间分支网络；(3c)将谱分支网络、空间分支网络并联后再与全连接层，softmax分类器串联，组成多路注意力机制的语义卷积神经网络，并选择focalloss函数作为该网络的损失函数；(4)利用训练样本集采用随机梯度下降法对多路注意力机制的语义卷积神经网络进行训练，直到focalloss损失函数收敛，得到训练好的多路注意力机制的语义卷积神经网络；(5)将测试样本输入到训练好的多路注意力机制的语义卷积神经网络，得到测试样本的类别标签，完成高光谱图像的分类。2.根据权利要求1所述的方法，其特征在于，(1)中的原始三维高光谱图像，是一个三维a×b×ca×b数据S∈R，该高光谱图像中每个波段对应三维数据中的一个二维矩阵Si∈R，其中，R表示实数域符号，a表示高光谱图像的长，b表示高光谱图像的宽，c表示高光谱图像的光谱波段数，i表示高光谱图像中光谱波段的序号，i＝1,2,…,c。3.根据权利要求1所述的方法，其特征在于，(1)中所述选取的高光谱图像块，其空间大小为(2t+1)×(2t+1)，通道数d与高光谱图像的光谱波段数相同，其中t为在高光谱图像边缘填充0像素的尺寸。4.根据权利要求1所述的方法，其特征在于，(2)中生成样本数不同的训练样本集和测试样本集，是先将高光谱图像块按其中心像素点类别分配到该类别所属的集合中；再分别在每类集合中按照0.01的比例选图像块作为训练集，并将每个图像块的中心像素点标签作为该图像块的标签；再分别将每类集合中剩余的图像块作为测试集。5.根据权利要求1所述的方法，其特征在于，(3a1)中的谱间稠密特征提取模块结构依次为：第1卷积层→第1归一化层→第1激活函数层→第1拼接层→第2卷积层→第2归一化层2CN112052755A权利要求书2/3页→第2激活函数层→第2拼接层→第3卷积层→第3归一化层→第3激活函数层→第3拼接层；所述第1拼