基于视频的目标检测方法、装置、电子设备和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113901909A(43)申请公布日2022.01.07(21)申请号202111160338.X(22)申请日2021.09.30(71)申请人北京百度网讯科技有限公司地址100085北京市海淀区上地十街10号百度大厦2层(72)发明人杨喜鹏谭啸孙昊丁二锐(74)专利代理机构北京清亦华知识产权代理事务所(普通合伙)11201代理人罗岚(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书3页说明书12页附图6页(54)发明名称基于视频的目标检测方法、装置、电子设备和存储介质(57)摘要本公开提供了一种基于视频的目标检测方法、装置、电子设备和存储介质，涉及人工智能领域，具体涉及计算机视觉和深度学习技术，可用于目标检测和视频分析场景下。方案为：对待检测视频中的多帧图像分别进行特征提取，以得到原特征图，并对多帧图像中任意的相邻两帧图像，将前一帧图像的原特征图中第一目标维度的子特征图，与后一帧图像的原特征图中第二目标维度的子特征图进行特征融合，以得到后一帧图像的目标特征图，进而可根据各帧图像的目标特征图进行目标检测。由此，在对视频中的各帧图像进行目标检测时，不仅依赖对应帧的内容，还可以参考相邻帧携带的信息，可以提升目标检测结果的准确性和可靠性。CN113901909ACN113901909A权利要求书1/3页1.一种基于视频的目标检测方法，所述方法包括以下步骤：获取待检测视频中的多帧图像；对所述多帧图像分别进行特征提取，以得到原特征图；其中，所述原特征图包括第一目标维度的子特征图和第二目标维度的子特征图；对所述多帧图像中任意的相邻两帧图像，将前一帧图像的原特征图中所述第一目标维度的子特征图，与后一帧图像的原特征图中所述第二目标维度的子特征图进行特征融合，以得到所述后一帧图像的目标特征图；根据各帧图像的所述目标特征图进行目标检测。2.根据权利要求1所述的方法，其中，所述对所述多帧图像中任意的相邻两帧图像，将前一帧图像的原特征图中所述第一目标维度的子特征图，与后一帧图像的原特征图中所述第二目标维度的子特征图进行特征融合，以得到所述后一帧图像的目标特征图，包括：对所述多帧图像中任意的相邻两帧图像，从前一帧图像的原特征图中获取所述第一目标维度的子特征图，以及从所述后一帧图像的原特征图中获取所述第二目标维度的子特征图；将所述前一帧图像对应的所述第一目标维度的子特征图，与所述后一帧图像的原特征图中所述第二目标维度的子特征图拼接，以得到拼接特征图；将所述拼接特征图输入卷积层，以融合得到所述后一帧图像的目标特征图。3.根据权利要求2所述的方法，其中，所述从前一帧图像的原特征图中获取所述第一目标维度的子特征图，以及从所述后一帧图像的原特征图中获取所述第二目标维度的子特征图，包括：从所述前一帧图像的原特征图wi‑1×hi‑1×ci‑1中，提取所述第一目标维度的子特征wi‑11×hi‑1×ci‑1，其中，(i‑1)为所述前一帧图像的序号，wi‑1为所述前一帧图像的原特征图中的多个宽度分量，hi‑1为所述前一帧图像的原特征图中多个高度分量，ci‑1为所述前一帧图1像的原特征图中的多个维度分量，ci‑1为所述ci‑1中排序在后的固定个数的所述第一目标维度；从所述后一帧图像的原特征图wi×hi×ci中，提取所述第二目标维度的子特征wi×hi×2ci，其中，i为所述后一帧图像的序号，wi为所述后一帧图像的原特征图中的多个宽度分量，hi为所述后一帧图像的原特征图中多个高度分量，ci为所述后一帧图像的原特征图中的多2个维度分量，ci为所述ci中排序在前的固定个数的所述第二目标维度。4.根据权利要求1‑3任一项所述的方法，其中，所述根据各帧图像的所述目标特征图进行目标检测，包括：针对各帧图像，将所述目标特征图分别输入目标识别模型的编码器进行编码，以得到编码特征；将所述编码特征输入所述目标识别模型的解码器进行解码，以得到解码特征；将所述解码特征输入所述目标识别模型的预测层进行目标预测，以得到所述预测层输出的预测框的位置，以及得到所述预测框内目标所属的类别。5.根据权利要求4所述的方法，其中，所述将所述解码特征输入所述目标识别模型的预测层进行目标预测，以得到所述预测层输出的预测框的位置，以及得到所述预测框内目标所属的类别，包括：2CN113901909A权利要求书2/3页获取所述解码特征中的多个预测维度；将所述解码特征中各预测维度的特征分别输入至对应的预测层，以得到各所述预测层输出的所述预测框的位置；根据各所述预测层所预测的类别，确定对应预测层输出的所述预测框内目标所属的类别。6.