行人重识别方法、装置、电子设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111967314A(43)申请公布日2020.11.20(21)申请号202010658452.4(22)申请日2020.07.09(71)申请人北京迈格威科技有限公司地址100086北京市海淀区科学院南路2号融科资讯中心A座316-318(72)发明人刘伟舟胡晨(74)专利代理机构北京润泽恒知识产权代理有限公司11319代理人王婷婷(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书14页附图4页(54)发明名称行人重识别方法、装置、电子设备及存储介质(57)摘要本申请实施例提供了行人重识别方法、装置，该方法包括：获取待重识别的行人的可见光行人图像和红外光行人图像；将获取的待重识别的行人的可见光行人图像和该红外光行人图像输入到多模态融合识别网络，得到该行人的行人重识别结果，多模态融合识别网络被配置为：将从该可见光行人图像提取的该行人的可见光行人特征和从该红外光行人图像提取的该行人的红外光行人特征进行融合，得到该行人的双光融合行人特征；基于该行人的多模态行人特征和预设特征底库中的多个行人特征，对该行人进行行人重识别，得到该行人的行人重识别结果。全天候对待重识别的行人进行较为准确的行人重识别并且提升行人重识别结果的准确性。CN111967314ACN111967314A权利要求书1/2页1.一种行人重识别方法，其特征在于，所述方法包括：获取待重识别的行人的可见光行人图像和红外光行人图像；将所述可见光行人图像和所述红外光行人图像输入到多模态融合识别网络，得到所述行人的行人重识别结果，其中，所述多模态融合识别网络被配置为：从所述可见光行人图像提取所述行人的可见光行人特征；从所述红外光行人图像提取所述行人的红外光行人特征；将所述行人的可见光行人特征和所述行人的红外光行人特征进行融合，得到所述行人的双光融合行人特征；基于所述行人的多模态行人特征和预设特征底库中的多个行人特征，对所述行人进行行人重识别，得到所述行人的行人重识别结果，所述行人的多模态行人特征包括：所述行人的可见光行人特征、所述行人的红外光行人特征、所述行人的双光融合行人特征。2.根据权利要求1所述的方法，其特征在于，将所述行人的可见光行人特征和所述行人的红外光行人特征进行融合，得到所述行人的双光融合行人特征包括：将所述行人的可见光行人特征和所述行人的红外光行人特征映射到同一个特征空间，得到所述行人的映射到特征空间的可见光行人特征和所述行人的映射到特征空间的红外光行人特征；将所述行人的映射到特征空间的可见光行人特征映射为高斯分布形式，得到所述行人的高斯分布形式的可见光行人特征，以及将所述行人的映射到特征空间的红外光行人特征映射为高斯分布形式，得到所述行人的高斯分布形式的红外光行人特征；将所述行人的高斯分布形式的可见光行人特征和所述行人的高斯分布形式的红外光行人特征进行融合，得到所述行人的双光融合行人特征。3.根据权利要求1所述的方法，其特征在于，获取待重识别的行人的可见光行人图像和红外光行人图像包括：获取所述行人的红外光行人图像；利用红外光与可见光行人图像转换网络基于所述行人的红外光行人图像，生成所述行人的可见光行人图像。4.根据权利要求1所述的方法，其特征在于，在获取待重识别的行人的可见光行人图像和红外光行人图像之前，所述方法还包括：对所述可见光行人图像所属的可见光视频流和所述红外光行人图像所属的红外光视频流进行空域对齐处理。5.根据权利要求1-4之一所述的方法，其特征在于，预设特征底库中的行人特征包括：可见光行人特征、红外光行人特征、双光融合行人特征；基于所述行人的多模态行人特征和预设特征底库中的多个行人特征，对所述行人进行行人重识别，得到所述行人的行人重识别结果包括：将所述行人的红外行人特征、可见光行人特征、双光融合行人特征分别与所述行人特征中的相同类型的特征进行匹配，以检索候选第一目标行人特征；当从所述多个行人特征中检索出至少一个候选第一目标行人特征时，确定至少一个候选第一目标行人特征中的第一目标行人特征，其中，候选第一目标行人特征至少包括两个匹配特征，每一个匹配特征分别与所述多模态行人特征中的一个特征匹配；2CN111967314A权利要求书2/2页生成指示所述行人与第一目标行人特征所属的行人为同一个行人的行人重识别结果。6.根据权利要求2-4之一所述的方法，其特征在于，预设特征底库中的行人特征为红外光行人特征；基于所述行人的多模态行人特征和预设特征底库中的多个行人特征，对所述行人进行行人重识别，得到所述行人的行人重识别结果包括：在满足红外光行人特征匹配条件的情况