基于生成对抗架构的目标检测增强方法、装置及存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115984623A(43)申请公布日2023.04.18(21)申请号202310044631.2G06N3/094(2023.01)(22)申请日2023.01.30G06V10/40(2022.01)(71)申请人南京邮电大学地址210000江苏省南京市鼓楼区新模范马路66号(72)发明人张昀黄经纬高贵赵阳张玉瑶黄橙(74)专利代理机构南京纵横知识产权代理有限公司32224专利代理师董建林(51)Int.Cl.G06V10/764(2022.01)G06V10/82(2022.01)G06V10/774(2022.01)G06N3/0475(2023.01)权利要求书2页说明书9页附图2页(54)发明名称基于生成对抗架构的目标检测增强方法、装置及存储介质(57)摘要本发明公开了一种基于生成对抗架构的目标检测增强方法、装置及存储介质，涉及计算机视觉中的目标检测技术领域。本发明提出了一种新的目标检测框架，对难以进一步提高性能的目标检测网络进行对抗性训练，能够使训练完善的目标检测网络进一步提高性能，并且没有参数的增加，能够快速有效地改进训练有素的目标检测网络，训练速度快，消耗计算资源少且高效，不以增加推理时间或训练难度为代价，几乎是一种即插即用的训练方式。CN115984623ACN115984623A权利要求书1/2页1.一种基于生成对抗架构的目标检测增强方法，其特征在于，包括如下步骤：将训练完备的CenterNet分离，得到特征提取网络和分类网络；构建一个鉴别器，将鉴别器与特征提取网络进行对抗训练，构成对抗结构；重新组合对抗训练完成后的特征提取网络和分类网络，固定住特征提取网络，对分类网络进行分类训练，使分类网络与特征提取网络相匹配。2.根据权利要求1所述的一种基于生成对抗架构的目标检测增强方法，其特征在于，所述构建一个鉴别器，将鉴别器与特征提取网络进行对抗训练，构成对抗结构，包括：在对抗训练前，固定住CenterNet，基于COCO2017数据集对鉴别器进行50个周期的训练；进行对抗训练时，使用高质量的图像特征作为目标分布，进一步增强特征提取网络的特征提取能力；完成对抗训练后，对不参与对抗训练的检测网络进行更新。3.根据权利要求1所述的一种基于生成对抗架构的目标检测增强方法，其特征在于，所述构建一个鉴别器，将鉴别器与特征提取网络进行对抗训练，构成对抗结构，还包括：在对抗训练过程中，从数据集抽取出一部分图片，并使用图像处理技术对这部分图片进行目标增强；使用图像处理技术进行目标增强后的图片数据为经过处理的数据批次；没有经过图像处理的图片数据为原始数据批次。4.根据权利要求3所述的一种基于生成对抗架构的目标检测增强方法，其特征在于，所述目标增强包括对图片中的背景部分进行高斯模糊处理以分离背景，对目标的细节进行锐化处理以突出细节。5.根据权利要求3所述的一种基于生成对抗架构的目标检测增强方法，其特征在于，所述经过处理的数据批次用于送入固定参数的特征提取网络，以获得高质量特征作为目标分布；所述原始数据批次用于通过可训练的特征提取网络产生普通特征；所述鉴别器用于分辨高质量特征和普通特征的来源，为特征提取网络提供梯度。6.根据权利要求1所述的一种基于生成对抗架构的目标检测增强方法，其特征在于，所述对抗训练与分类训练的交替次数比例设置为4:1。7.根据权利要求1所述的一种基于生成对抗架构的目标检测增强方法，其特征在于，所述构建一个鉴别器，将鉴别器与特征提取网络进行对抗训练，构成对抗结构，还包括：在所述对抗训练的过程中，会产生网络损失；所述网络损失包括生成对抗损失和检测器损失；所述生成对抗损失包括特征提取网络和鉴别器的对抗损失；在生成对抗损失中添加约束，表达式如下：LGAN‑total＝LGAN+αLCenterNet；式中，LGAN‑total为生成对抗损失，LGAN为由特征提取网络和鉴别器构成的对抗训练目标，LCenterNet为特征提取网络和鉴别器的对抗损失形成的约束，α为CenterNet网络损失的加权系数。8.一种基于生成对抗架构的目标检测增强装置，其特征在于，包括：分离模块：用于将训练完备的CenterNet分离，得到特征提取网络和分类网络；对抗训练模块：用于构建一个鉴别器，将鉴别器与特征提取网络进行对抗训练，构成对抗结构；2CN115984623A权利要求书2/2页网络匹配模块：用于重新组合对抗训练完成后的特征提取网络和分类网络，固定住特征提取网络，对分类网络进行分类训练，使分类网络与特征提取网络相匹配。9.一种基于生成对抗架构的目标检测增强装置，其特征在于，包括处理器及存储介质；所述存储介质用于存储指令；所述处理器用于根据所述指令进行操作以执行根据权利要求1～