一种基于目标检测的多尺度特征融合方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115082688A(43)申请公布日2022.09.20(21)申请号202210620848.9G06V10/80(2022.01)(22)申请日2022.06.02G06V10/82(2022.01)G06N3/04(2006.01)(71)申请人艾迪恩（山东）科技有限公司G06N3/08(2006.01)地址264000山东省烟台市芝罘区港城西大街69号B座6楼申请人西南交通大学烟台新一代信息技术研究院(72)发明人闫连山董高照姚涛(74)专利代理机构烟台双联专利事务所(普通合伙)37225专利代理师矫智兰(51)Int.Cl.G06V10/34(2022.01)G06V10/40(2022.01)G06V10/774(2022.01)权利要求书3页说明书9页附图3页(54)发明名称一种基于目标检测的多尺度特征融合方法(57)摘要本发明公开了一种基于目标检测的多尺度特征融合方法，其通过网络收集计算机视觉图像样本建立多尺度目标检测数据集，并将数据集划分为训练集和测试集；利用一阶段代表作YOLOv5算法负责图像内目标物体的检测；通过骨干网络多阶段多层次的卷积操作提取出多尺度图像特征；将其中一个支路以传统特征融合方式与颈部网络相连，另一支路以捷径方式与相同采样倍率的颈部网络相连，最后一支路以捷径方式与相同采样倍率的预测结构相连；通过深度学习一个三支路骨干网络结构，并将骨干网络中不同尺度的特征图像通过三支路向后实现神经网络的前向、后向传递；本发明具有目标检测准确率高，容易应用于大规模数据集及多种网络模型结构，实现方式简单，因此具有广阔的应用前景和巨大的市场价值。CN115082688ACN115082688A权利要求书1/3页1.一种基于目标检测的多尺度特征融合方法，其特征在于，步骤S1，通过网络收集计算机视觉图像样本建立多尺度目标检测数据集，建立并将数据集划分为训练集和测试集；步骤S2，利用YOLOv5目标检测算法的骨干网络Backbone提取输入图像的形态学矩阵特征；步骤S3，利用骨干网络Backbone与颈部网络Neck、预测结构Prediction的三支路特征融合方法实现多尺度融合，并通过深度学习重复学习各结构支路上的权重参数，根据深度学习的训练方式，不断缩小训练时目标值与预测值之间的差距，即以最小化损失函数为学习准则，得出目标域数据集下的优化网络结构，其融合方式基于FPN；步骤S4，在FPN的基础上改进形成PAN，利用low‑level特征中存储的精确定位信号，提升特征金字塔架构；步骤S5，在PAN的基础上改进形成BiFPN，通过BiFPN让网络自行学习不同输入特征的权重。2.根据权利要求1所述的一种基于目标检测的多尺度特征融合方法，其特征在于，对于步骤S3中的FPN分解为三个递进的阶段，其包含以下步骤：步骤S31，骨干网络Backbone生成特征阶段，在深度学习计算机视觉领域的任务是基于常用预训练的骨干网络Backbone，生成抽象的语义特征，再分别针对不同的应用场景对骨干网络提取的图像形态学特征调整；骨干网络Backbone生成的特征按stage划分，分别记作，n为自然数，其中的数字n与stage的编号相同，代表图像形态学特征下采样的不同阶段特征，也即分辨率减半的次数，如代表stage2输出的特征图，分辨率为输入图片的，代表stage5输出的特征图，分辨率为输入图片的；步骤S32，特征融合阶段，FPN将步骤S31生成的不同分辨率特征作为输入，输出经过融合后的特征，输出的特征以P作为编号标记，FPN的输入是、、、、，经过融合后，输出为、、、、，用数学公式表达：步骤S33，通过检测头输出boundingbox，FPN输出融合后的特征后，将融合后的特征输入到检测头做具体的物体检测。3.根据权利要求2所述的一种基于目标检测的多尺度特征融合方法，其特征在于，步骤S5的BiFPN使用的Fusion策略，具体包含以下步骤：步骤S51，Unboundedfusion策略，其公式为：该公式为深度学习特征融合的第一种策略，其中，为可学习的权重参数，代表单个的深度学习神经网络节点之间的数据权值比重；为输入特征信息，在计算机视觉领域中表2CN115082688A权利要求书2/3页示该神经网络输入的图像形态学特征矩阵；步骤S52，Softmax‑basedfusion策略，其公式为：该公式为深度学习特征融合的第二种策略，其中，、为可学习的权重参数，代表多个的深度学习神经网络节点之间的数据权值比重；为输入特征信息，在计算机视觉领域中表示该神经网络输入的图像形态学特征矩阵；步骤S53，Fastnormalizedfusion策略，其公式为：该公式为深度学习特征融合的第三种策略，其