行为识别方法及装置、设备和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113920585A(43)申请公布日2022.01.11(21)申请号202111234621.2(22)申请日2021.10.22(71)申请人上海商汤智能科技有限公司地址200233上海市徐汇区桂平路391号3号楼1605A室(72)发明人苏海昇(74)专利代理机构北京派特恩知识产权代理有限公司11270代理人崔晓岚张颖玲(51)Int.Cl.G06V40/20(2022.01)G06V20/40(2022.01)G06V20/52(2022.01)G06V10/82(2022.01)G06N3/02(2006.01)权利要求书3页说明书20页附图6页(54)发明名称行为识别方法及装置、设备和存储介质(57)摘要本申请实施例公开了一种行为识别方法，包括：获取所述待识别视频序列中每一帧图像中每一对象的检测框；基于所述每一帧图像中所述检测框的分布情况，确定所述待识别视频序列的第一识别结果；在所述第一识别结果满足第一条件的情况下，对群体对象的轨迹序列进行行为识别，得到第四识别结果；其中，所述群体对象的轨迹序列是基于所述待识别视频序列生成的；所述群体对象包括空间距离小于距离阈值的至少两个目标对象；至少基于所述第一识别结果或所述第四识别结果，确定所述待识别视频序列的目标识别结果。本申请实施例还同时提供了一种行为的识别装置、设备及存储介质。CN113920585ACN113920585A权利要求书1/3页1.一种行为识别方法，其特征在于，所述方法包括：获取所述待识别视频序列中每一帧图像中每一对象的检测框；基于所述每一帧图像中所述检测框的分布情况，确定所述待识别视频序列的第一识别结果；在所述第一识别结果满足第一条件的情况下，对群体对象的轨迹序列进行行为识别，得到第四识别结果；其中，所述群体对象的轨迹序列是基于所述待识别视频序列生成的；所述群体对象包括空间距离小于距离阈值的至少两个目标对象；至少基于所述第一识别结果或所述第四识别结果，确定所述待识别视频序列的目标识别结果。2.如权利要求1所述的方法，其特征在于，所述至少基于所述第一识别结果或所述第四识别结果，确定所述待识别视频序列的目标识别结果，包括：在所述第一识别结果表征所述待识别视频序列中未发生异常行为的情况下，基于所述第一识别结果，确定所述待识别视频序列的目标识别结果；或者，在所述第一识别结果表征所述待识别视频序列中发生异常行为的情况下，基于所述第四识别结果，确定所述待识别视频序列的目标识别结果。3.如权利要求1或2所述的方法，其特征在于，所述基于所述每一帧图像中所述检测框的分布情况，确定所述待识别视频序列的第一识别结果，包括：基于所述每一帧图像中所述检测框的分布情况，确定所述每一帧图像中的密集区域；所述密集区域中包括与所述每一帧图像中其他检测框重叠次数大于等于第一次数阈值的中心检测框；基于所述每一帧图像中的密集区域所包括的对象数目，确定所述待识别视频序列的第一识别结果。4.如权利要求1至3任一项所述的方法，其特征在于，所述在所述第一识别结果满足第一条件的情况下，对群体对象的轨迹序列进行行为识别，得到第四识别结果，包括：在所述第一识别结果表征所述待识别视频序列中发生异常行为的情况下，确定所述待识别视频序列中相邻帧之间所述密集区域的面积变化值；基于所述密集区域的面积变化值和变化阈值，确定所述待识别视频序列的第二识别结果；在所述第二识别结果表征所述待识别视频序列未发生异常行为的情况下，对群体对象的轨迹序列进行行为识别，得到所述第四识别结果。5.如权利要求4所述的方法，其特征在于，所述在所述第二识别结果表征所述待识别视频序列未发生异常行为的情况下，对群体对象的轨迹序列进行行为识别，得到所述第四识别结果，包括：在所述第二识别结果表征所述待识别视频序列未发生异常行为的情况下，基于所述待识别视频序列中所述每一帧图像中的密集区域的覆盖范围，确定所述待识别视频序列中每一帧图像中的包围框区域；所述每一帧图像中的包围框区域所在的位置一致、尺寸相同且包围所述密集区域；基于所述待识别视频序列中相邻帧之间的所述包围框区域的像素变化情况，确定所述待识别视频序列的第三识别结果；2CN113920585A权利要求书2/3页在所述第三识别结果表征所述待识别视频序列未发生异常行为的情况下，对群体对象的轨迹序列进行行为识别，得到所述第四识别结果。6.如权利要求5所述的方法，其特征在于，所述方法还包括：在所述第二识别结果表征所述待识别视频序列发生异常行为的情况下，确定所述待识别视频序列的目标识别结果为发生异常行为；或者，在所述第三识别结果表征所述待识别视频序列发生异常行为的情况下，确定所述待识别视频序列的目标识别结果为发生异常行为。7.如权利要