一种红外与可见光图像融合的多光谱目标检测方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113688806A(43)申请公布日2021.11.23(21)申请号202111243860.4G06N3/08(2006.01)(22)申请日2021.10.26(71)申请人南京智谱科技有限公司地址210008江苏省南京市江北新区团结路99号孵鹰大厦1056室(72)发明人周凯来陈林森李昀谦蔡李靖字崇德吕涛(74)专利代理机构北京华夏正合知识产权代理事务所(普通合伙)11017代理人韩登营(51)Int.Cl.G06K9/00(2006.01)G06K9/46(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)权利要求书4页说明书11页附图3页(54)发明名称一种红外与可见光图像融合的多光谱目标检测方法及系统(57)摘要本申请提供了一种红外与可见光图像融合的多光谱目标检测方法，包括：构建包含红外图像模型与可见光图像模型的深度残差网络；获取多光谱目标检测图像，对所述多光谱目标检测图像中的红外图像和可见光图像分别进行图像预处理；根据所述红外图像特征和可见光图像特征之间的共模特征和差模特征，分别进行差模融合计算，得到红外图像增强特征和可见光图像增强特征；将所述红外图像增强特征和可见光图像增强特征插入到所述深度残差网络，构建多光谱目标检测网络；通过多光谱目标检测网络对采集的红外图像或可见光图像进行检测，得到目标检测结果。本申请通过有效融合红外与可见光图像特征，有效提升多光谱目标检测的准确率和鲁棒性。CN113688806ACN113688806A权利要求书1/4页1.一种红外与可见光图像融合的多光谱目标检测方法，其特征在于，包括：构建包含红外图像模型与可见光图像模型的深度残差网络，并分别为所述红外图像模型与可见光图像模型的权重赋值；获取多光谱目标检测图像，对所述多光谱目标检测图像中的红外图像和可见光图像分别进行图像预处理，并分别提取红外图像特征和可见光图像特征；根据所述红外图像特征和可见光图像特征之间的共模特征和差模特征，分别对所述红外图像特征和可见光图像特征进行差模融合计算，得到红外图像增强特征和可见光图像增强特征；将所述红外图像增强特征和可见光图像增强特征插入到所述包含红外图像模型与可见光图像模型的深度残差网络，构建多光谱目标检测网络，并采用预处理后的所述红外图像和可见光图像对所述多光谱目标检测网络进行训练；通过训练好的所述多光谱目标检测网络对采集的红外图像或可见光图像进行检测，得到红外图像或可见光图像中的目标检测结果。2.根据权利要求1所述的方法，其特征在于，所述构建包含红外图像模型与可见光图像模型的深度残差网络，并分别为所述红外图像模型与可见光图像模型的权重赋值包括：在包含有预训练的可见光图像模型的深度残差网络中增加红外图像模型；基于所述预训练的可见光图像模型的权重赋值，为所述红外图像模型设置相同的权重变量，并为所述权重变量进行权重赋值。3.根据权利要求1所述的方法，其特征在于，所述对所述多光谱目标检测图像中的红外图像和可见光图像分别进行图像预处理包括：根据随机概率，对所述可见光图像进行色调随机扰动处理、亮度随机扰动处理、饱和度随机扰动处理和图像随机水平旋转处理；根据随机概率，对所述红外图像进行红外单通道的亮度随机扰动处理、图像随机水平旋转处理。4.根据权利要求1所述的方法，其特征在于，所述根据所述红外图像特征和可见光图像特征之间的共模特征和差模特征，分别对所述红外图像特征和可见光图像特征进行差模融合计算，得到红外图像增强特征和可见光图像增强特征包括：通过将所述红外图像特征、可见光图像特征进行差模计算，得到所述红外图像特征和可见光图像特征的差模特征；将所述差模特征通过全局平均池化压缩到一个全局差分向量；通过激活函数对所述全局差分向量进行激活，得到融合权重向量；通过将所述红外图像特征、可见光图像特征分别与所述融合权重向量进行通道级乘法运算，分别得到所述红外图像特征、可见光图像特征的互补特征；将所述红外图像特征、可见光图像特征与所述红外图像特征、可见光图像特征的互补特征分别融合，得到红外图像增强特征和可见光图像增强特征。5.根据权利要求1或4所述的方法，其特征在于，所述差模融合计算过程通过下述公式计算：;2CN113688806A权利要求书2/4页;其中，为所述红外图像特征，为所述可见光图像特征，为所述红外图像特征和可见光图像特征的差模特征，为深度残差网络的残差函数，为tanh激活函数，为全局平均池化，表示逐元素求和操作，表示逐元素相乘操作，表示红外图像特征的互补特征，表示可见光图像特征的互补特征，表示红外图像增强特征，表示可见光图像增强特征。6.根据权利要求1所述的方法，其特征在于，所述将所述红外图像增强特征和