一种基于光谱特征与空间特征融合的目标检测方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN116030324A(43)申请公布日2023.04.28(21)申请号202310045447.XG06V10/58(2022.01)(22)申请日2023.01.30G06V10/52(2022.01)G06V20/17(2022.01)(71)申请人中国农业科学院农业资源与农业区G06V20/10(2022.01)划研究所G06N3/0464(2023.01)地址100081北京市海淀区中关村南大街G06N3/0455(2023.01)12号G06N3/047(2023.01)(72)发明人王芙蓉段玉林吴文斌张文G06N3/084(2023.01)余强毅史云钱建平宋茜(74)专利代理机构北京山允知识产权代理事务所(特殊普通合伙)11741专利代理师胡冰邓玉婷(51)Int.Cl.G06V10/80(2022.01)G06V10/82(2022.01)G06V10/764(2022.01)权利要求书2页说明书8页附图8页(54)发明名称一种基于光谱特征与空间特征融合的目标检测方法(57)摘要一种基于光谱特征与空间特征融合的目标检测方法，包括：S1，对采集的图像进行数据预处理，生成卷积神经网络所需的特征图层数据；S2，构建特征提取网络，采用基于光谱特征与空间特征融合的卷积神经网络进行目标识别；构建跨模态特征融合模型(CFT模型)，进行单个特征图层内和多个特征图层间的特征融合，实现基于被检测对象的光谱特征及空间特征融合的精准目标检测。本发明的方法通过同时融合被检测对象的光谱特征和空间特征，提高在被检测对象光谱特征或空间特征不稳定、特征部分缺失条件下的检测精度和可靠性。CN116030324ACN116030324A权利要求书1/2页1.一种基于光谱特征与空间特征融合的目标检测方法，其特征在于，包括：S1，对采集的图像进行数据预处理，生成卷积神经网络所需的特征图层数据；S2，构建特征提取网络，采用基于光谱特征与空间特征融合的卷积神经网络进行目标识别；3)构建跨模态特征融合模型，进行单个特征图层内和多个特征图层间的特征融合，实现基于被检测对象的光谱特征及空间特征融合的精准目标检测。2.根据权利要求1所述的方法，其特征在于，步骤S1包括：1)利用原始三通道可见光图像生成被检测目标空间特征图层CHM；2)以DOM图层的分辨率为参照基准，对其它图层进行分辨率重建；3)在实现原始数据空间位置对齐、分辨率一致等处理后，对目标检测模型所需空间特征图层CHM及DOM图层进行剪裁；4)利用所标注的被检测对象的统计特征值，剔除异常值。3.根据权利要求2所述的方法，其特征在于，步骤S2包括：S21，采用双流主干网络同时提取被检测对象的光谱特征和空间特征；S22，将获得的光谱特征和空间特征输入到基于自注意力机制的CFT模型中进行融合，并将特征融合结果反馈至双流主干网络中的预测层，最终输出目标检测结果。4.根据权利要求3所述的方法，其特征在于，在步骤S21中，所述双流主干网络提取特征的步骤包括：1)读取步骤S1生成的DOM图像及CHM图层、经过Conv和C3卷积提取图像特征，得到FS1和FG1传入到CFT模型中，进行特征提取后的DOM光谱特征和CHM的空间特征的融合，然后将融合结果F′S1和F′G1再反传入给相应的分支中，得到FS2和FG2；2)经过Conv+C3卷积之后传入到CFT模型中得到F′S2和F′G2，再反传入给相应的分支中，得到FS3和FG3，再将这两个特征图融合，得到特征图P3；3)对FS3和FG3进行与2)相同的内容，得到FS4、FG4和特征图P4；4)对FS4、FG4依次经过卷积Conv、空间金字塔池化SPP和C3操作，接下来的内容与2)相同，得到FS5、FG5和特征图P5；5)将特征图P3、P4和P5作为Neck层的输入，Neck层包括Conv、C3、Concat拼接处理和上采样，然后传输到预测层，输出果树检测结果。5.根据权利要求4所述的方法，其特征在于，在步骤S22中，进行特征融合的步骤包括：1)输入数据FSi和FGi，FSi和FGi是DOM和CHM图像经过双流主干内各种卷积模块获得的光谱特征和空间特征的卷积特征图，再嵌入位置编码模块；2)通过LayerNorm层归一化处理后，将Q、K、V传入到多头注意力机制中，进行不同的线性投影变换Q、K和V得到不同维度的Dk和Dv，以并行处理的方式进行注意力池化操作，Dk表示Query和Key的矩阵维度，Dv代表Value的矩阵维度。6.根据权利要求4所述的方法，其特征在于，步骤S2还包括：将输出的融合特征F′Si和F′Gi传入双流主干特征提取网络的预测层，最后预测并输出目标检测结果。7.根据权利要求1所述的方法，其特征在于，步骤