基于生成对抗网络的多模态多尺度特征融合目标检测方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113627504A(43)申请公布日2021.11.09(21)申请号202110878261.3(22)申请日2021.08.02(71)申请人南京邮电大学地址210023江苏省南京市亚东新城区文苑路9号(72)发明人孙雁飞叶鑫海亓晋许斌(51)Int.Cl.G06K9/62(2006.01)G06K9/46(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书6页附图2页(54)发明名称基于生成对抗网络的多模态多尺度特征融合目标检测方法(57)摘要本发明公开了基于生成对抗网络的多模态多尺度特征融合目标检测方法，将可见光摄像设备和红外光摄像设备生成的图像分别传入到并行的预训练Darknet53网络中，尽可能提取出各自图像中深层次的特征数据，并在最后三个残差网络中提取出三种不同尺度的特征图，将两种模态多尺度的特征图传递给特征融合模块；使用基于条件生成对抗网络中预训练出的生成器将多模态多尺度的特征图进行深层次融合，使原始可见光模态的特征图中注入更多的目标特征信息；最后将生成的多尺度多模态融合特征图依次级联并传递到各个YOLO层完成目标检测任务。本发明可以产生最大程度接近于真实状况下的融合特征向量，从而提高目标检测模型在夜间环境下的检测效果。CN113627504ACN113627504A权利要求书1/2页1.基于生成对抗网络的多模态多尺度特征融合目标检测方法，其特征在于，包括以下步骤：S1：使用两个并行的预训练Darknet53网络作为特征提取网络，将可见光摄像设备和红外光摄像设备生成的图像分别传入到并行的预训练Darknet53网络中，对可见光摄像设备输出的可见光图像和红外光摄像设备输出的红外光图像进行多尺度特征提取，对图像中的大尺度目标进行深层次的特征提取，对小尺度目标进行浅层次的特征提取，输出相应的特征图；S2：构建基于条件生成对抗网络的特征融合层，并使用可见光和红外光模态的样本数据训练鉴别器和生成器，经训练后的多模态融合特征层会根据实际输入的可见光特征图和红外光特征图共同导出融合更多目标特征信息的模态融合特征图；S3：将生成的多模态融合特征图依次级联并传递到各个YOLO层完成目标检测任务。2.根据权利要求1所述的基于生成对抗网络的多模态多尺度特征融合目标检测方法，其特征在于，所述Darknet53网络由五个残差模块组成，每个所述残差模块内部包含一个网络结构最小组件CBL和若干个残差组件，每个所述残差模块根据其所包含的残差组件数量被记为ResX。3.根据权利要求2所述的基于生成对抗网络的多模态多尺度特征融合目标检测方法，其特征在于，每一个所述残差组件由两个网络结构中最小组件CBL和一个张量相加add操作组成。4.根据权利要求2所述的基于生成对抗网络的多模态多尺度特征融合目标检测方法，其特征在于，所述并行Darknet53网络的两个分支会在最后三个残差模块中分别输出提取三个多尺度特征图，根据所输入的图像类型，将可见光图像输出的特征图分别记作，红外光图像输出的特征图分别记作。5.根据权利要求1或4的基于生成对抗网络的多模态多尺度特征融合目标检测方法，其特征在于，所述S2中生成多模态融合特征图，包括如下步骤：S201:Darknet53中同一残差模块提取出的可见光模态和红外光模态特征图先输入到对应多模态特征融合层的DCL中，DCL将输入的可见光模态特征图压缩转换到一个指定维度，然后加权传递到Concat层，DCL将输入的红外光模态特征图压缩转换到一个指定维度，然后加权分别传递到Concat层和鉴别器；其中，红外光模态特征图经过DCL输出的特征图传递到鉴别器，作为其真实样本的特征输入；S202:Concat层输出初步的多模态融合特征图，每个尺度输出的初步融合特征图为：其中，是级联拼接函数，是DCL层的输出函数，是指定权值；S203:训练条件生成对抗网络时，初步融合特征图与一个指定分布噪声源产生的同维度噪声进行张量相加，然后输入到生成器网络中，生成多模态融合特征图传递给鉴别器网络，作为其伪样本的特征输入。6.根据权利要求5的基于生成对抗网络的多模态多尺度特征融合目标检测方法，其特征在于，在对抗训练的过程中，生成器生成的多模态融合特征图会逐渐包含更多的红外信2CN113627504A权利要求书2/2页息以起到目标强化和提高融合效果的作用，训练过程的优化目标函数为：其中，是分布函数的期望值，为真实数据分布，为噪声分布。7.根据权利要求6的基于生成对抗网络的多模态多尺度特征融合目标检测方法，其特征在于，经训练过后抽取出的生成器网络，输入经过DCL+Concat的初步融合特征图会生成接近于真实情况的多模态融合特