行为识别方法和行为识别装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113610030A(43)申请公布日2021.11.05(21)申请号202110932377.0(22)申请日2021.08.13(71)申请人北京地平线信息技术有限公司地址100094北京市海淀区丰豪东路9号院2号楼3层1单元301(72)发明人宫永超李翔徐亮黄李超(74)专利代理机构北京思源智汇知识产权代理有限公司11657代理人毛丽琴(51)Int.Cl.G06K9/00(2006.01)G06K9/32(2006.01)G06K9/62(2006.01)权利要求书2页说明书10页附图4页(54)发明名称行为识别方法和行为识别装置(57)摘要本公开实施例公开了一种行为识别方法和行为识别装置，其中，该方法包括：确定目标视频帧图像的感兴趣区域；对感兴趣区域进行特征提取，得到第一图像特征；确定与目标视频帧图像关联的多个视频帧图像；获取对多个视频帧图像中每个视频帧图像进行感兴趣区域特征提取得到多个图像特征；基于目标标视频帧图像和多个视频帧图像的视频帧采集顺序，对第一图像特征和多个图像特征拼接，得到拼接特征；基于拼接特征，对感兴趣区域中的目标对象进行行为识别。本公开实施例可以针对目标视频帧中的感兴趣区域的图像特征，和与目标视频帧来源于同一视频，且与目标视频帧相关联的多个视频帧图像中感兴趣区域的图像特征的融合特征，进行快速、有效的行为识别。CN113610030ACN113610030A权利要求书1/2页1.一种行为识别方法，包括：确定目标视频帧图像的感兴趣区域；对所述感兴趣区域进行特征提取，得到第一图像特征；确定与所述目标视频帧图像关联的多个视频帧图像；获取对所述多个视频帧图像中每个视频帧图像进行感兴趣区域特征提取得到的多个图像特征；基于所述目标标视频帧图像和所述多个视频帧图像的视频帧采集顺序，对所述第一图像特征和所述多个图像特征拼接，得到拼接特征，其中，所述目标视频帧图像和所述多个视频帧图像是由同一个图像采集装置采集得到的；基于所述拼接特征，对所述感兴趣区域中的目标对象进行行为识别。2.根据权利要求1所述的行为识别方法，其中，所述获取对所述多个视频帧图像中每个视频帧图像进行感兴趣区域特征提取得到的多个图像特征，包括：对所述多个视频帧图像中每个视频帧图像进行感兴趣区域特征提取，得到的多个图像特征，将所述多个图像特征存入目标缓存；在所述得到第一图像特征之后，从所述目标缓存中读取所述多个图像特征。3.根据权利要求2所述的行为识别方法，其中，所述对所述多个视频帧图像中每个视频帧图像进行感兴趣区域特征提取，得到的多个图像特征，并将所述多个图像特征存入目标缓存，包括：基于所述多个视频帧图像的视频帧采集顺序，每次获取所述多个视频帧图像中的一视频帧图像；检测当前获取的视频帧图像的感兴趣区域；如果检测出所述当前获取的视频帧图像的感兴趣区域，则对所述当前获取的视频帧图像的感兴趣区域进行特征提取，得到所述当前获取的视频帧图像的感兴趣区域的图像特征，将所述当前获取的视频帧图像的感兴趣区域的图像特征存入所述目标缓存中；如果无法检测出所述当前获取的视频帧图像的感兴趣区域，则获取所述当前获取的视频帧图像的前一帧图像的感兴趣区域的图像特征，将所述前一帧图像的感兴趣区域的图像特征存入所述目标缓存中。4.根据权利要求1所述的行为识别方法，其中，在所述得到第一图像特征之后，还包括：基于所述第一图像特征进行行为识别。5.根据权利要求1所述的行为识别方法，在确定目标视频帧图像的感兴趣区域之前，还包括：从所述视频中帧提取当前视频帧图像；对所述当前视频帧图像进行预处理，得到所述目标视频帧图像；其中，所述多个视频帧图像为对所述当前视频帧图像的前N帧视频图像进行所述预处理后得到的，N为大于1的自然数。6.根据权利要求1所述的行为识别方法，其中，所述确定目标视频帧图像的感兴趣区域，包括：基于行为识别内容确定所述感兴趣区域中的目标对象的肢体检测部位；对所述目标视频帧图像中目标人物的肢体检测部位进行关键点检测，基于关键点检测2CN113610030A权利要求书2/2页结果确定所述目标视频帧图像的感兴趣区域。7.根据权利要求6所述的行为识别方法，所述行为识别内容包括危险驾驶行为识别，所述目标对象为驾驶员。8.一种行为识别装置，包括：感兴趣区域确定模块，用于确定目标视频帧图像的感兴趣区域；第一提取模块，用于对所述感兴趣区域进行特征提取，得到第一图像特征；视频帧确定模块，用于基于所述目标视频帧图像，确定与所述目标视频帧关联的多个视频帧图像；第二提取模块，用于获取对所述多个视频帧图像中每个视频帧图像进行感兴趣区域特征提取得到的多个图像特征；特征拼接模块，用于基于所述标视频帧图像和所述多个视频帧图像在所述视频中的