一种基于双模态融合网络的目标检测方法及装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115861758A(43)申请公布日2023.03.28(21)申请号202211672837.1(22)申请日2022.12.26(71)申请人西安邮电大学地址710121陕西省西安市长安区西长安街618号(72)发明人侯志强孙颖马素刚杨晨程敏捷王忠民范九伦(74)专利代理机构安徽曌云知识产权代理事务所(特殊普通合伙)34183专利代理师梁鹏飞(51)Int.Cl.G06V10/80(2022.01)G06V10/82(2022.01)G06N3/08(2023.01)G06N3/0464(2023.01)权利要求书4页说明书12页附图2页(54)发明名称一种基于双模态融合网络的目标检测方法及装置(57)摘要本发明提供一种基于双模态融合网络的目标检测方法，包括获取图像对数据集，建立双模态图像数据集，构建模块分别对红外图像和可见光图像编码，构建双路门控融合网络，将融合特征输入至基准方法YOLOv5‑s网络第三层，得到最终检测网络，处理好的图像对数据集，输入至最终检测网络中，得到检测结果；还包括一种基于本发明方法的目标检测装置；本发明方法采用嵌入门控融合网络，使模型能够确定两种模态图像在不同场景中对检测的贡献；引入多任务学习的思想，自适应调节权重分配，实现跨模态特征融；面对黑夜等复杂环境本发明具有较好的鲁棒性。CN115861758ACN115861758A权利要求书1/4页1.一种基于双模态融合网络的目标检测方法，包括：步骤A：获取图像对数据集，即利用红外成像设备拍摄红外图像，利用可见光成像设备拍摄可见光图像，然后将两种图像配准，得到图像对数据集；步骤B：建立双模态图像数据集，即对配准的的图像对数据集进行数据增强处理，形成双模态数据集；步骤C：构建模块分别对红外图像和可见光图像编码；步骤D：构建双路门控融合网络，即通过构建的门控融合网络计算红外特征权值和可见光特征权值，自适应调节两路特征的权重分配，得到融合特征，完成门控融合网络训练；步骤E：将融合特征输入至基准方法YOLOv5‑s网络第三层，得到最终检测网络；步骤F：将步骤B处理好的图像对数据集，输入至最终检测网络中，得到检测结果。2.如权利要求1所述的一种基于双模态融合网络的目标检测方法，其特征在于：步骤A包括：步骤A1：获取红外图像和可见光图像，即在全封闭的条件下使用一个可见光相机和一个红外相机拍摄照片，采用硬件对齐相机光轴的方式，使得两种照片图像范围大体一致；步骤A2：将获取的红外图像和可见光图像进行图像配准，即采用对齐策略，调整图像尺寸，实现图像配准；步骤B包括：步骤B1：对图像对数据集进行粗处理，得到粗处理后的图像对数据集，粗处理方法包括：增强边缘、锐化、平滑、细节；步骤B2：对经过粗处理的图像对数据集进行整理处理，整理处理包括：旋转、翻转、亮度调节；步骤C包括：步骤C1：构建红外编码器，先得到红外图像信息和神经元权值，进而得到红外图像特征；步骤C2：构建可见光编码器，输入可见光图像，得到可见光图像特征；步骤C3：将步骤C1得到的红外图像特征和步骤C2得到的可见光图像特征拼接得到组合特征；步骤D输入为步骤C3生成的组合特征，步骤D输出为融合后的融合特征；步骤D包括：步骤D1：将组合特征切片均分为红外特征图块和可见光特征图块；步骤D2：生成两个门控网络，计算红外概率特征及可见光概率特征；步骤D3：根据步骤D2生成的红外概率特征和可见光概率特征，计算得到自适应红外特征与自适应可见光特征；步骤D4：将自适应红外特征和自适应可见光特征相加；步骤D5：将步骤C1得到的红外图像特征和步骤C2得到的可见光图像特征下采样池化；步骤D5包括：步骤D5‑1：将红外图像特征FIR，通过最大池化操作，得到池化红外特征FIRc；步骤D5‑2：将可见光图像特征FVS，通过最大池化操作，得到池化可见光特征FIRc；步骤D6：将步骤D4结果、池化红外特征和池化可见光特征按通道维度拼接得到融合特2CN115861758A权利要求书2/4页征。3.如权利要求2所述的一种基于双模态融合网络的目标检测方法，其特征在于：步骤B1包括：步骤B1‑1：增强图像边缘；步骤B1‑2：锐化，使用轮廓滤波方法，将图像中的轮廓信息全部提取出来；步骤B1‑3：平滑，使用平滑滤波方法，使图像亮度平缓渐变,减小突变梯度；步骤B1‑4：细节，使用细节增强滤波方法，使得图像中细节更加明显；步骤B2包括：步骤B2‑1：对图像对数据集旋转；步骤B2‑2：对图像对数据集翻转；步骤B2‑3：对图像对数据集调节亮度和对比度；步骤C1中红外编码器由红外迷你残差模块构成，红外迷你残差模块有三层结构，由最大池化层和两个连续的1×1卷积层构成；步骤C2包括：步骤C2‑1：将步骤B2输