基于局部与全局特征融合的遥感图像分类方法和装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115937594A(43)申请公布日2023.04.07(21)申请号202211608008.7G06V10/44(2022.01)(22)申请日2022.12.14G06N3/0464(2023.01)G06N3/048(2023.01)(71)申请人长沙理工大学G06N3/08(2023.01)地址410000湖南省长沙市天心区赤岭路45号(72)发明人王威郑薇王新(74)专利代理机构长沙国科天河知识产权代理有限公司43225专利代理师唐品利(51)Int.Cl.G06V10/764(2022.01)G06V10/82(2022.01)G06V20/10(2022.01)G06V10/80(2022.01)G06V10/42(2022.01)权利要求书4页说明书13页附图7页(54)发明名称基于局部与全局特征融合的遥感图像分类方法和装置(57)摘要本申请涉及图像识别技术领域的一种基于局部与全局特征融合的遥感图像分类方法和装置。该方法包括：将获取的遥感图像进行标注作为训练样本；构建遥感图像分类模型，该模型包括输入网络、特征提取网络和分类网络；其中，输入网络用于采用空洞卷积对训练样本进行多分支多尺度特征提取，特征提取网络用于采用4个由1个下采样层和若干个堆叠的RMFE模块组成stage依次进行全局与局部特征提取与融合，其中RMFE模块采用纯卷积方式同时提取局部与全局特征；采用训练样本对遥感图像分类模型进行训练，采用训练好的遥感图像分类模型对待测遥感图像进行分类，得到遥感图像分类结果。采用本方法在降低模型参数量的同时提高了图像分类的准确率。CN115937594ACN115937594A权利要求书1/4页1.一种基于局部与全局特征融合的遥感图像分类方法，其特征在于，所述方法包括：获取遥感图像，并对所述遥感图像进行标注，得到训练样本；构建基于局部与全局特征融合的遥感图像分类模型，所述遥感图像分类模型包括：输入网络、特征提取网络以及分类网络；所述输入网络用于采用多个不同空洞率的空洞卷积对所述训练样本进行特征提取后进行拼接，得到拼接特征图；所述特征提取网络用于采用4个由下采样层和由若干个RMFE模块堆叠的模块组成的stage对所述拼接特征图的局部和全局特征进行提取与融合，得到融合特征图；所述RMFE模块是基于MetaFormer范式采用P2DF模块和前馈层构建的；所述P2DF模块用于对输入的特征图进行通道拆分，然后采用卷积和通道注意力模块提取第二通道拆分结果的全局特征，采用卷积和空间注意力模块提取第一通道拆分结果的局部特征，并将所述全局特征和所述局部特征进行融合；所述分类网络用于根据所述融合特征图进行分类，得到遥感图像分类预测结果；采用所述训练样本的标注及将所述训练样本输入到所述遥感图像分类模型得到的遥感图像分类预测结果，对所述遥感图像分类模型进行训练，得到训练好的遥感图像分类模型；将待测遥感图像输入到训练好的遥感图像分类模型，得到遥感图像分类结果。2.根据权利要求1所述的方法，其特征在于，所述输入网络包括由4个不同空洞率的空洞卷积层构成的并行分支组成；采用所述训练样本的标注及将所述训练样本输入到所述遥感图像分类模型得到的遥感图像分类预测结果，对所述遥感图像分类模型进行训练，得到训练好的遥感图像分类模型，包括：将所述训练样本分别输入到所述输入网络中的4个空洞卷积模块中，得到4个不同感受野的空洞卷积特征图，并将4个空洞卷积特征图进行拼接，得到拼接特征图；将所述拼接特征图输入到所述特征提取网络的第一个stage中，得到第一层特征图；将所述第一特征图输入到所述特征提取网络的第二个stage中，得到第二层特征图；将所述第二特征图输入到所述特征提取网络的第三个stage中，得到第三层特征图；将所述第三特征图输入到所述特征提取网络的第四个stage中，得到融合特征图；将所述融合特征图输入到分类网络中，得到遥感图像分类预测结果；采用所述训练样本的标注及所述遥感图像分类预测结果，对所述遥感图像分类模型进行反向训练，得到训练好的遥感图像分类模型。3.根据权利要求2所述的方法，其特征在于，所述输入网络的4个不同空洞率的空洞卷积层的扩张率分别为1、2、3、4，均采用3×3的卷积核。4.根据权利要求2所述的方法，其特征在于，所述特征提取网络的第一个stage包括下采样层和1个RMFE模块；所述RMFE模块包括两个归一化模块、1个P2DF模块，1个前馈模块；将所述拼接特征图输入到所述特征提取网络的第一个stage中，得到第一层特征图，包括：将所述拼接特征图输入到第一个stage的下采样层中，得到下采样特征图；将所述下采样特征图输入到第一个stage的RMFE模块的第一个归一化模块中，得到第一归