一种基于多模态特征判别的红外点群目标识别方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114998567A(43)申请公布日2022.09.02(21)申请号202210838226.3G06V10/776(2022.01)(22)申请日2022.07.18G06V10/80(2022.01)G06V10/74(2022.01)(71)申请人中国科学院长春光学精密机械与物G06V10/82(2022.01)理研究所G06K9/62(2022.01)地址130033吉林省长春市东南湖大路G06N3/04(2006.01)3888号(72)发明人李焱李宁李毅曹立华刘海波韩玺钰(74)专利代理机构长春众邦菁华知识产权代理有限公司22214专利代理师于晓庆(51)Int.Cl.G06V10/143(2022.01)G06V10/30(2022.01)G06V10/54(2022.01)权利要求书2页说明书7页附图7页(54)发明名称一种基于多模态特征判别的红外点群目标识别方法(57)摘要一种基于多模态特征判别的红外点群目标识别方法，涉及红外点群目标检测识别技术领域，本发明的一种基于多模态特征判别的红外点群目标识别方法，包括以下步骤：步骤S1、多源图像序列数据和目标测量类数据预处理；步骤S2、单模态多源图像序列数据目标特征提取及目标识别；步骤S3、单模态目标测量类数据目标特征提取及状态识别；步骤S4、多模态特征融合及目标识别；步骤S5、识别结果融合及判定。本发明具备对红外点群目标进行物理属性分类识别的能力，提升了红外点群目标识别的鲁棒性，对红外点群目标物理属性识别准确率达85%以上。CN114998567ACN114998567A权利要求书1/2页1.一种基于多模态特征判别的红外点群目标识别方法，其特征在于，包括以下步骤：步骤S1、多源图像序列数据和目标测量类数据预处理；步骤S2、单模态多源图像序列数据目标特征提取及目标识别；步骤S3、单模态目标测量类数据目标特征提取及状态识别；步骤S4、多模态特征融合及目标识别；步骤S5、识别结果融合及判定。2.根据权利要求1所述的一种基于多模态特征判别的红外点群目标识别方法，其特征在于，步骤S1中，将多源图像序列数据输入至以卷积神经网络为主的目标特征识别网络中，按式(1)进行图像预处理变换，突出目标特征和统计相关尺寸信息，同时对目标测量类数据进行噪点数据消除处理；P1=T(I)(1)式中，P1表示预处理变换后图像，T(I)表示预处理变换函数，I表示输入图像。3.根据权利要求2所述的一种基于多模态特征判别的红外点群目标识别方法，其特征在于，步骤S2中，对经过图像预处理的多源图像序列数据进行目标再捕获，再根据统计的相关尺寸信息进行超分辨率重建，将经过超分辨率重建后的图像输入到以卷积神经网络为主的目标特征识别网络中，实现对目标形状纹理特征信息突出的目标物理属性识别，同时通过式(2)实现对图像中待测目标的定位识别：(2)式中，表示待测目标信息描述向量，表示待测目标物理属性类别，表示待测目标置信度，表示待测目标位置，表示待测目标尺寸。4.根据权利要求3所述的一种基于多模态特征判别的红外点群目标识别方法，其特征在于，所述目标特征识别网络采用FasterR‑CNN网络。5.根据权利要求3所述的一种基于多模态特征判别的红外点群目标识别方法，其特征在于，步骤S3中，将目标测量类数据输入到目标状态变化特征识别网络中，通过目标状态变化特征识别网络对待测目标进行特征变化状态检测，通过计算获取待测目标的目标物理属性数据知识语义表达特征，同时提取目标物理属性数据的知识特征。6.根据权利要求5所述的一种基于多模态特征判别的红外点群目标识别方法，其特征在于，步骤S3中，通过式(3)、式(4)和式(5)实现单模态目标测量类数据目标特征提取及状态识别；式(3)为目标物理属性数据知识语义表达特征的计算公式，式(4)为目标物理属性数据知识语义表达特征的相似性分类公式，式(5)为目标物理属性数据知识语义表达特征的目标分类计算公式；(3)(4)(5)2CN114998567A权利要求书2/2页(6)式中，O表示目标物理属性数据知识语义表达特征，分别表示目标不同维度物理属性知识语义表达特征，Ci表示目标物理属性数据知识语义表达特征的相似性分类结果，表示不同目标物理属性数据知识语义表达特征，表示待测目标物理属性数据知识语义表达特征，T表示待测目标索引号，C0,…,Cn表示目标不同维度物理属性数据知识语义表达特征的相似性分类结果，表示预设约束阈值，TH表示用户设定的最小相似认可概率。7.根据权利要求6所述的一种基于多模态特征判别的红外点群目标识别方法，其特征在于，步骤S4中，对基于多源图像序列数据获取的图像模态特征数据和对基于目标测量类数据获取的知识性模态数据进行处理，