基于多源图像融合的目标检测方法、系统、设备、介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113936138A(43)申请公布日2022.01.14(21)申请号202111078219.XG06N3/08(2006.01)(22)申请日2021.09.15(71)申请人中国航天科工集团第二研究院地址100854北京市海淀区永定路50号31号楼(72)发明人王鹏董博郭宇飞马喆毛磊(74)专利代理机构中国航天科工集团公司专利中心11024代理人张国虹(51)Int.Cl.G06V10/26(2022.01)G06V10/80(2022.01)G06V10/774(2022.01)G06K9/62(2022.01)G06N3/04(2006.01)权利要求书3页说明书6页附图2页(54)发明名称基于多源图像融合的目标检测方法、系统、设备、介质(57)摘要本发明公开一种基于多源图像融合的目标检测方法、系统、设备、介质，涉及目标检测技术领域，以解决目标检测结果精度差的问题。所述目标检测方法包括：先获取对同一目标进行拍摄所得到的第一源图像和第二源图像，然后利用模态转换模型对第一源图像进行模态转换，得到仿真第二源图像，最后以第二源图像和仿真第二源图像作为输入，利用分割模型得到分割结果，完成目标检测。本发明提供的基于多源图像融合的目标检测方法、系统、设备、介质用于进行目标检测。CN113936138ACN113936138A权利要求书1/3页1.一种基于多源图像融合的目标检测方法，其特征在于，包括：获取对同一目标进行拍摄所得到的第一源图像和第二源图像；所述第一源图像和所述第二源图像是利用不同的传感器对所述目标进行拍摄而得到的；利用模态转换模型对所述第一源图像进行模态转换，得到仿真第二源图像；以所述第二源图像和所述仿真第二源图像作为输入，利用分割模型得到分割结果，完成目标检测。2.根据权利要求1所述的目标检测方法，其特征在于，所述第一源图像为可见光图像，所述第二源图像为热红外图像；或者，所述第一源图像为热红外图像，所述第二源图像为可见光图像。3.根据权利要求1所述的目标检测方法，其特征在于，所述获取对同一目标进行拍摄所得到的第一源图像和第二源图像，包括：通过第一源传感器以第一角度对所述目标进行拍摄，得到所述第一源图像；通过第二源传感器以第二角度对所述目标进行拍摄，得到所述第二源图像。4.根据权利要求1所述的目标检测方法，其特征在于，所述模态转换模型是对模态转换网络进行训练所得到的；所述模态转换网络为循环生成对抗网络。5.根据权利要求4所述的目标检测方法，其特征在于，所述模态转换网络包括第一生成器、第二生成器、第一判别器和第二判别器；所述第一生成器分别与所述第一判别器和所述第二生成器相连接；所述第二生成器还与所述第二判别器相连接；在利用模态转换模型对所述第一源图像进行模态转换，得到仿真第二源图像之前，所述目标检测方法还包括对所述模态转换网络进行训练，得到模态转换模型的步骤，具体包括：获取第一训练样本集；所述第一训练样本集包括若干张训练用第一源图像和若干张训练用第二源图像；对于每一所述训练用第一源图像，利用所述第一生成器对所述训练用第一源图像进行模态转换，得到训练用仿真第二源图像；利用所述第二生成器对所述训练用仿真第二源图像进行模态转换，得到训练用重建第一源图像，并计算所述训练用重建第一源图像和所述训练用第一源图像之间的第一像素级损失；根据所述训练用仿真第二源图像和任一所述训练用第二源图像，利用所述第一判别器得到第一GAN损失；对于每一所述训练用第二源图像，利用所述第二生成器对所述训练用第二源图像进行模态转换，得到训练用仿真第一源图像；利用所述第一生成器对所述训练用仿真第一源图像进行模态转换，得到训练用重建第二源图像，并计算所述训练用重建第二源图像和所述训练用第二源图像之间的第二像素级损失；根据所述训练用仿真第一源图像和任一所述训练用第一源图像，利用所述第二判别器得到第二GAN损失；计算在由所述训练用第一源图像转换得到所述训练用仿真第二源图像时所述第一生成器的中间特征与在由所述训练用仿真第一源图像转换得到所述训练用重建第二源图像2CN113936138A权利要求书2/3页时所述第一生成器的中间特征之间的第一孪生语义损失，并计算在由所述训练用第二源图像转换得到所述训练用仿真第一源图像时所述第二生成器的中间特征与在由所述训练用仿真第二源图像转换得到所述训练用重建第一源图像时所述第二生成器的中间特征之间的第二孪生语义损失；根据所述第一像素级损失、所述第一GAN损失、所述第二像素级损失、所述第二GAN损失、所述第一孪生语义损失和所述第二孪生语义损失计算损失值，根据所述损失值判断是否达到第一迭代结束条件；若是，则结束迭代，以当前迭代所用的第一生成器作为模态转换模型；若