一种基于多层特征融合的多光谱行人检测方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113902965A(43)申请公布日2022.01.07(21)申请号202111168693.1(22)申请日2021.09.30(71)申请人重庆邮电大学地址400065重庆市南岸区黄桷垭崇文路2号(72)发明人罗萍王涛吕霞付彭云奉(74)专利代理机构北京同恒源知识产权代理有限公司11275代理人廖曦(51)Int.Cl.G06V10/80(2022.01)G06V10/774(2022.01)G06V40/10(2022.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书3页说明书6页附图2页(54)发明名称一种基于多层特征融合的多光谱行人检测方法(57)摘要本发明涉及一种基于多层特征融合的多光谱行人检测方法，属于目标检测领域，S1：对数据集进行预处理，划分为训练集和测试集，并扩充训练图像；S2：采用卷积神经网络构建多层特征融合的特征提取模型，采用通道注意力机制对可见光与红外特征进行多层特征融合，根据多层融合特征构建特征金字塔；S3：引用自适应融合机制对待检测特征层的特征图尺度进行调整，通过多尺度检测获得行人边界框；S4：通过非极大值抑制算法进行筛选，去除置信度较低的边界框并输出最终的检测结果。本发明能够提取到更多细节信息，检测性能得以进一步提升，模型在全天候场景下行人检测的准确率得到大幅度提升。CN113902965ACN113902965A权利要求书1/3页1.一种基于多层特征融合的多光谱行人检测方法，其特征在于：包括以下步骤：S1：对数据集进行预处理，划分为训练集和测试集，并扩充训练图像；S2：采用卷积神经网络构建多层特征融合的特征提取模型，采用通道注意力机制对可见光与红外特征进行多层特征融合，根据多层融合特征构建特征金字塔；S3：引用自适应融合机制对待检测特征层的特征图尺度进行调整，通过多尺度检测获得行人边界框；S4：通过非极大值抑制算法进行筛选，去除置信度较低的边界框并输出最终的检测结果。2.根据权利要求1所述的基于多层特征融合的多光谱行人检测方法，其特征在于：步骤S1具体包括以下步骤：S11：将数据集分类为训练集和测试集，并划分为全天候场景、白天场景和夜间场景三个部分；S12：对训练图像进行随机比例的缩放，若图像尺寸小于预设尺寸则使用灰度像素点进行填充，若其尺寸大于预设尺寸则对边缘进行裁剪，同时对边界框标签进行位置修正；S13：对训练图像进行随机的水平翻转，同时修正边界框坐标，扩充训练图像；S14：将可见光图像从RGB颜色空间转换至HSV或SHL颜色空间后对图像的亮度分量进行随机调整，然后将三个分量结合并转换回RGB颜色空间；S15：根据标签信息计算获得中心点坐标(x,y)，使用二维高斯函数G(·)依据边界框宽和高的标准差{σw,σh}生成中心点掩膜M其中，M(i,j)表示中心点掩膜，(i,j)表示像素点坐标，(x,y)表示目标中心点坐标，xk和yk分别表示第k个目标序列的中心点坐标，σw和σh分别表示目标边界框宽和高的标准差。3.根据权利要求1所述的基于多层特征融合的多光谱行人检测方法，其特征在于：所述步骤S2具体包括以下步骤：S21：使用模型的主干网络对预处理后的可见光图像与红外图像进行特征提取，分别获得三层具有不同分辨率的特征图{xv1,xv2,xv3}和{xi1,xi2,xi3}；S22：采用通道注意力机制对特征提取获得的可见光图像特征图{xv1,xv2,xv3}与红外图像特征图{xi1,xi2,xi3}进行同尺度间的特征融合从而获得三层融合特征图{xvi1,xvi2,xvi3}；S23：根据融合特征图{xvi1,xvi2,xvi3}构建特征金字塔网络，特征金字塔网络输出三层特征图{yvi1,yvi2,yvi3}。4.根据权利要求3所述的基于多层特征融合的多光谱行人检测方法，其特征在于：在所述步骤S22中，特征表示如下：2CN113902965A权利要求书2/3页其中，F'表示注意力机制的输出特征，Ωchn表示特征通道注意力向量，F表示注意力机制的输入特征，σ表示Sigmoid函数操作，MLP(avgpool(F))表示对输入特征进行平均池化操作，MLP(maxpool(F))表示对输入特征进行最大池化操作，和表示分别两个全连接层参数，δ表示ReLU函数，和表示平均池化和最大池化的特征通道描述符；F'vi表示经过注意力机制处理后获得的红外与可见光加权融合特征，ρ1和ρ2分别表示可见光特征和红外特征的权重参数，和分别表示可见光特征通道注意力向量和红外特征通道注意力向量，Fv和Fi分别表示可见光图像特征和红外图像特征，F'v和Fi'分别表示经过注意力机制处理后获得的可见光图像特征和红外图像特征