一种引入注意力机制的多尺度高光谱图像特征提取方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115984585A(43)申请公布日2023.04.18(21)申请号202211680728.4G06N3/048(2023.01)(22)申请日2022.12.26G06N3/047(2023.01)G06N3/084(2023.01)(71)申请人杭州电子科技大学地址310018浙江省杭州市钱塘新区白杨街道2号大街1158号(72)发明人许张弛郭宝峰吴文豪苏晓通尤靖云(51)Int.Cl.G06V10/58(2022.01)G06V10/52(2022.01)G06V10/80(2022.01)G06V10/82(2022.01)G06V10/764(2022.01)G06N3/0464(2023.01)G06N3/0442(2023.01)G06N3/045(2023.01)权利要求书2页说明书10页附图3页(54)发明名称一种引入注意力机制的多尺度高光谱图像特征提取方法(57)摘要本发明涉及一种引入注意力机制的多尺度高光谱图像特征提取方法，包括：S1、将高光谱图像归一化到[‑1,1]之间，生成光谱特征提取样本与空间特征提取样本；S2、将光谱与空间特征提取样本中有标签的样本随机采样，分为训练集、测试集；S3、将光谱训练集与空间训练集分别输入构建的光谱特征提取子网分支与空间特征提取子网分支进行光谱特征提取；S4、引入光谱得分计算网络、空间得分计算网络、权重系数γ对光谱特征和空间特征进行自适应的加权融合；S5、返回步骤S3，直到满足预先设定的迭代次数，否则保存参数；S6、将高光谱图像数据样本输入训练好网络，得到分类映射结果。本发明提高了高光谱图像的分类性能，取得了更加精确分类准确率。CN115984585ACN115984585A权利要求书1/2页1.一种引入注意力机制的多尺度高光谱图像特征提取方法，其特征在于：包括以下步骤：S1：将高光谱图像数据中各波段的值归一化到[‑1,1]之间，生成归一化的高光谱图像；利用主成分分析对高光谱图像数据进行降维，将降维图像归一化到[‑1,1]之间，生成归一化的降维图像；S2：将归一化的高光谱图像与归一化的降维图像中有标签的样本随机采样，分为光谱训练集、光谱测试集与空间训练集、空间测试集；S3：将光谱训练集输入构建的光谱特征提取子网分支进行光谱特征提取，将空间训练集输入构建的空间特征提取子网分支进行空间特征提取；所述光谱特征提取子网分支包括光谱感受野与分组多尺度特征提取、注意力机制辅助的长短期记忆网络进行光谱维度的特征提取；所述空间特征提取子网分支包括空间感受野多尺度特征提取、利用卷积长短期记忆网络进行空间维度的特征提取；S4：使用光谱得分计算网络、空间得分计算网络以及权重系数γ对光谱特征提取子网分支得到的光谱特征和空间特征提取子网分支得到的空间特征进行自适应的加权融合；S5：返回步骤S3，直到满足预先设定的迭代次数，否则保存网络参数，进入步骤S6；S6：将高光谱图像数据样本输入训练好的网络中，得到分类映射结果。2.根据权利要求1所述的一种引入注意力机制的多尺度高光谱图像特征提取方法，其特征在于：所述步骤S3所述的光谱感受野与分组多尺度特征提取包括3个1D卷积模块和四个分组模块，每一个1D卷积模块包括一个核大小为3的1D卷积层和一个步长为2的最大池化层；将原始光谱向量连续经过三个1D卷积模块，依次得到第一尺度光谱向量、第二尺度光谱向量和第三尺度光谱向量；原始光谱向量以及三个尺度光谱向量分别经过一个分组模块，依次分组为8组、4组、2组、1组。3.根据权利要求1所述的一种引入注意力机制的多尺度高光谱图像特征提取方法，其特征在于：所述步骤S3所述的注意力机制辅助的长短期记忆网络进行光谱维度的特征提取由4组注意力机制的长短期记忆网络组成，分别处理分组后的原始光谱向量以及三个尺度光谱向量，得到原始光谱特征向量、第一尺度光谱特征向量、第二尺度光谱特征向量、第三尺度光谱特征向量，并进行加和，进而得到多尺度光谱特征向量。4.根据权利要求3所述的一种引入注意力机制的多尺度高光谱图像特征提取方法，其特征在于：所述注意力机制的长短期记忆网络由一个隐藏层大小为128的长短期记忆网络与一个光谱注意力机制模块组成；所述光谱注意力机制模块由两个全连接层、一个tanh激活层以及一个softmax激活层组成；输入向量首先经过一个隐藏层大小为128的长短期记忆网络得到各时间步的特征向量；使用光谱注意力机制模块进行处理：将不同时间步的特征向量拼接为矩阵后，依次经过第一个全连接层、tanh激活层以及第二个全连接层，随后在拼接维度上使用softmax激活层激活得权重向量；将权重与不同时间步的特征向量相乘并进行求和，得到光谱特征补充向量；将光谱特征补充向量与最后一个时