基于特征加权与网络微调的小样本目标检测方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113642574A(43)申请公布日2021.11.12(21)申请号202110871133.6(22)申请日2021.07.30(71)申请人中国人民解放军军事科学院国防科技创新研究院地址100071北京市丰台区丰台东大街53号(72)发明人朱得糠李彤孟志鹏(74)专利代理机构中国兵器工业集团公司专利中心11011代理人王智红(51)Int.Cl.G06K9/32(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)权利要求书3页说明书7页附图3页(54)发明名称基于特征加权与网络微调的小样本目标检测方法(57)摘要本发明属于计算机视觉图像目标检测技术领域，提供基于特征加权与网络微调的小样本目标检测方法。完成有B个基类和N个新类(小样本)的目标检测任务。本发明为经典FasterRCNN目标检测算法增加了元学习器为检测器学习权重矢量，并据此将网络训练过程划分为基类训练和微调训练两个阶段；为经典的FasterRCNN检测器添加了特征加权过程，并改进了随后的区域池化和预测层网络，以适应加权后的特征金字塔。本发明有效提升了小样本目标检测的精度。CN113642574ACN113642574A权利要求书1/3页1.一种基于特征加权与网络微调的小样本目标检测方法，其特征在于，包括如下步骤：S1，检测任务建模：设有B类具有大量训练样本待检测目标，定义为基类；有N类仅有K个训练样本的目标，训练样本为小样本定义为新类；小样本目标检测任务即由测试样本检测(B+N)个类别的目标，为(B+N)个待检测类分配唯一的身份id编号，B个基类id编号用iB∈{1,…,B}表示，N个新类id编号用iN∈{B+1,…,B+N}表示；S2，网络构造：网络整体构造主要包括两部分，一是改进的FasterRCNN检测器，二是轻量级CNN构成的元学习器(Meta‑learner)；检测器包括骨干网络、推荐区域网络、区域池化网络和预测层这4个网络模块以及一个特征加权操作过程；所述特征加权操作是对特征金字塔和权重张量的操作；其中，只对特征金字塔的P['0'],P['1'],P['2'],P['3']共4层进行加权；特征金字塔特征张量与权重张量对应元素逐通道相乘，再将它们按通道拼接；S3，数据准备样本标注，每张训练图片标注一个符合YOLO算法格式的txt标注文件；基类训练数据准备，将所有基类图像样本汇总作为基类训练数据集；微调训练数据准备，为平衡基类和新类训练数据量不均衡问题，该阶段对每个基类随机抽取K个样本，将基类和新类共(B+N)×K个样本作为微调训练数据集；S4，模型训练S4.1，利用基类训练数据集开展基类训练，基类训练采用批随机梯度下降的方式训练网络，每批训练过程如下：S4.1.1由基类训练数据集随机抽取批数量bz的图片样本，称为查询样本，输入检测器；S4.1.2从基类训练数据集中为每个基类抽取1张图片，按编号顺序排列，共B张图片组成特征样本，输入元学习器；S4.1.3检测器骨干网络输出特征金字塔，随后分两路：一路经过RPN网络获得训练框；一路与元学习器输出的权重张量进行加权操作。加权后的特征金字塔与训练框经过区域池化和预测层后，输出检测结果，与查询样本的标注结果对比计算损失函数值，采用Adam优化器更新网络参数；S4.1.4重复以上步骤，直至训练结束，保存网络参数；S4.2，利用微调训练数据集开展微调训练，微调训练每批训练过程如下：S4.2.1修改预测层，将预测层全连接网络的输入由基类训练时的B×1024维修改为(B+N)×1024维，其它部分结构不变。S4.2.2网络参数初始化，预测层网络参数随机初始化，其余各层读入基类训练时保存的网络参数。冻结骨干网络和RPN网络参数。4.2.2由微调训练数据集随机抽取批数量的查询样本输入检测器，可重复抽样；S4.2.3从微调训练数据集中为每个类，含基类和新类抽取1张图片，按编号顺序排列，共(B+N)张图片组成特征样本，输入元学习器；S4.2.4按S4.1.3相同流程，输出检测结果，与查询样本的标注结果对比计算损失函数值，采用Adam优化器更新网络参数；S4.2.5重复4.2.2至4.2.4步骤，直至训练结束，保存网络参数；2CN113642574A权利要求书2/3页S5，模型推理S5.1计算权重张量，完成微调训练和基类训练两个阶段训练后，对每个类别，将其K个样本依次输入元学习器，得到K个权重，求算术平均，得到对应每个类的权重矢量，按类别编号顺序将各个类的权重矢量组成尺寸为(B+N,1024)的权重张量；S5.2测试数据推理，直接将测试样本输入检测器，将输出的特征金字塔与预先计算好的权重张量加权相乘，得到按id顺序排