一种基于深层特征和浅层特征融合的目标检测方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113887649A(43)申请公布日2022.01.04(21)申请号202111214721.9(22)申请日2021.10.19(71)申请人齐鲁工业大学地址250399山东省济南市长清区大学路3501号(72)发明人单东日许亚鲁王晓芳张鹏贺冬梅(74)专利代理机构济南泉城专利商标事务所37218代理人李桂存(51)Int.Cl.G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书6页附图3页(54)发明名称一种基于深层特征和浅层特征融合的目标检测方法(57)摘要本发明提供了一种基于深层特征和浅层特征融合的目标检测方法。步骤如下：构建目标检测网络模型，获取数字图像，分为训练集和测试集；将图像增强过后的图片x首先输入到分类网络进行特征提取，然后再将特征提取的结果输入到特征融合网络进行特征融合，最后利用融合后的特征图对模型进行分类和回归得到预测值，使用预测值、标签y、预选框匹配结果和Loss函数计算得到误差进行反向传播，得到了保存模型参数的文件；对模型进行测试，首先计算冗余的预测值，最后通过NMS算法去除冗余的预测值，得到最终结果。经验证我们的方法在PascalVOC数据集上的20类的平均监测准确率达到了70%，在行人检测、人脸检测、文本检测、交通信号和遥感目标检测拥有良好的应用前景。CN113887649ACN113887649A权利要求书1/2页1.一种基于深层特征和浅层特征融合的目标检测方法，其特征在于，包括以下步骤：1)构建目标检测网络模型，包含分类网络+特征融合网络+预测网络；2)获取数字图像，分为训练集和测试集；3)将图像增强过后的图片x首先输入到分类网络进行特征提取，然后再将特征提取的结果输入到特征融合网络进行特征融合，最后利用融合后的特征图对模型进行分类和回归得到预测值，使用预测值、标签y、预选框匹配结果和Loss函数计算得到误差进行反向传播，更新网络模型中参数，通过多次迭代训练得到了保存模型参数的文件；4)对模型进行测试，首先将训练保存的参数文件导入预测网络模型，然后把测试集中的图片x输入到预测网络模型中，得到冗余的预测值，最后通过NMS算法去除冗余的预测值，得到最终结果。2.根据权利要求1所述的基于深层特征和浅层特征融合的目标检测方法，其特征在于，所述Loss函数设计过程如下：使用softmaxloss来进行分类，使用了smoothl1进行位置拟合；首先要进行预选框的匹配，计算预选框坐标a和定位标签g的IOU值，此处预选框的生成机制和匹配策略采用SSD算法当中的方法，将IOU大于0.5的预选框索引设为1，然后将标签分类标签c和定位标签g赋值给标记为1的预选框，通过L_conf和L_loc计算分类损失和定位损失，最后将误差反向传播，更新网络参数；具体公式如下：其中x为分类预测向量，c为分类标签，l为定位预测向量，a为预选框坐标，g为定位标签；L_conf是分类损失，L_loc是定位损失；其中i为预选框的索引，j为图像中对象的索引，p为分类向量中每个元素的索引，cx,cy是预测框与真实框的中心偏移量，w为宽度偏移量，h为高度偏移量。3.根据权利要求1所述的基于深层特征和浅层特征融合的目标检测方法，其特征在于，所述图像增强具体过程如下：所述图像增强包括随机剪裁，随机亮度，随机扩展，随机镜像，将四种处理方式随机组合处理图像；将得到的处理后图像进行重采样处理，并且进行零均值化处理。4.根据权利要求1所述的基于深层特征和浅层特征融合的目标检测方法，其特征在于，所述特征融合的具体步骤如下：2CN113887649A权利要求书2/2页1)将处理后的图像输入到DenseNet169网络中进行CNN特征的提取；2)将提取到的特征进行融合，具体分为6个不同尺度的分支，分别为scale_1、scale_2、scale_3、scale_4、scale_5、scale_6；其中scale_1、scale_2和scale_3三个分支首先对提取的特征进行平均均值化和最大值池化，然后对结果进行相加，如公式(1)所示；X为Densenet169提取的CNN的特征，k为池化核大小，i，j指代池化核的宽度和高度坐标，m，n为输出特征值的坐标，Max操作是指从X的左上角为起始点划定k×k的区域，选取区域内的最大值xi,j，并和区域内的均值进行相加进行融合得到ym,n，让操作区域在宽度和高度两个维度以步长为1进行遍历，得到融合后的特征图Y；scale_4不做任何处理，直接输入到最后的预测模块；scale_5、scale_6两个分支对特征进行像素重组和逆卷积，如公式(2)所示；Y＝PixelShuffle