一种基于可见光与红外图像融合的目标检测方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113763356A(43)申请公布日2021.12.07(21)申请号202111048113.5G06T5/50(2006.01)(22)申请日2021.09.08G06K9/62(2006.01)G06N3/04(2006.01)(71)申请人国网江西省电力有限公司电力科学G06N3/08(2006.01)研究院地址330096江西省南昌市高新区民营科技园民强路88号申请人国家电网有限公司北京御航智能科技有限公司(72)发明人陈田李帆李唐兵刘衍高小伟谭启昀(74)专利代理机构南昌丰择知识产权代理事务所(普通合伙)36137代理人吴称生(51)Int.Cl.G06T7/00(2017.01)权利要求书1页说明书5页附图2页(54)发明名称一种基于可见光与红外图像融合的目标检测方法(57)摘要本发明公开一种基于可见光与红外图像融合的目标检测方法，建立实验数据集，包括可见光图像数据集和红外图像数据集；使用YOLOv4算法作为基础网络对可见光图像和红外图像分别进行检测；通过D‑S证据理论决策级加权融合的方式对可见光图像和红外图像中同时准确检测到的目标的检测框位置进行融合，从而得到融合图像中对应目标的准确检测框位置。本发明结合红外图像和可见光二者的特征，弥补了各自的缺点实现特征的互补；对可见光图像和红外图像的检测结果进行融合，并将融合后的检测结果作为对应的融合图像中目标的检测结果，从而实现对融合图像的准确检测。CN113763356ACN113763356A权利要求书1/1页1.一种基于可见光与红外图像融合的目标检测方法，其特征在于，步骤如下：步骤一、建立实验数据集，包括可见光图像数据集和红外图像数据集；步骤二、使用YOLOv4算法作为基础网络对可见光图像和红外图像分别进行检测；步骤三、通过D‑S证据理论决策级加权融合方式对检测结果进行融合：通过D‑S证据理论决策级加权融合的方式对可见光图像和红外图像中经步骤二同时准确检测到的目标的检测框位置进行融合，从而得到融合图像中对应目标的准确检测框位置。2.根据权利要求1所述的一种基于可见光与红外图像融合的目标检测方法，其特征在于，YOLOv4算法依次包括输入端、神经网络模块、目标检测模块、预测模块，输入的图像经神经网络模块卷积，然后经目标检测模块检测，由预测模块输出预测的检测框。神经网络模块由CBM模块、CSP1模块、CSP2模块、CSP8模块、CSP8模块、CSP4模块构成；目标检测模块包括四级采样融合模块，第一级采样融合模块和第二级采样融合模块均由CBL模块、上采样模块与另一个CBL模块共同连接concat融合模块，concat融合模块再连接一个CBL模块输出；第三级采样融合模块和第四级采样融合模块均由CBL模块、上采样模块连接concat融合模块，concat融合模块再连接一个CBL模块输出；预测模块包括三组CBL+CONV模块构成，三组CBL+CONV模块分别接收第二级采样融合模块、第三级采样融合模块和第四级采样融合模块提取的特征。在神经网络模块中，经CBM模块、CSP1模块、CSP2模块、CSP8模块获得第一层特征，再经CSP8模块获得第二层特征，在经CSP4模块获得第三层特征，第三层特征进入目标检测模块中依次经CBL模块、SPP模块、CBL模块处理后得到特征P1进入第一级采样融合模块，经CBL模块、上采样模块后与第二层特征融合，输出融合特征P2，该融合特征P2再进入第二级采样融合模块与第一层特征融合输出融合特征P3，融合特征P3输出到第一组CBL+CONV模块输出检测框；融合特征P3和融合特征P2进入第三级采样融合模块融合输出融合特征P4，融合特征P4输出到第二组CBL+CONV模块输出检测框，融合特征P4与特征P1进入第四级采样融合模块融合输出融合特征P5，融合特征P5输出到第三组CBL+CONV模块输出检测框。3.根据权利要求1所述的一种基于可见光与红外图像融合的目标检测方法，其特征在于，步骤三中，加权融合的计算表示为以下：式子中Dv、Dr分别为可见光图像和红外图像中目标的准确检测框，β分别为Dv、Dr对应的权值，Df目标在融合图像中对应目标的检测位置；以为0.7，β为0.3作为最终的权值组合，通过上式对目标准确检测结果进行合并。2CN113763356A说明书1/5页一种基于可见光与红外图像融合的目标检测方法技术领域[0001]本发明涉及图像目标检测技术领域，尤其涉及一种基于可见光与红外图像融合的目标检测方法。背景技术[0002]随着遥感技术的发展，人类可以通过各种手段获取不同波段的光谱图像。除可见光外，红外传感器，雷达，激光等技术日渐成熟，同时各类传感器的价格下降而性能得到大幅度提升，这些促