行为识别方法及装置、设备和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113963438A(43)申请公布日2022.01.21(21)申请号202111220961.X(22)申请日2021.10.20(71)申请人上海商汤智能科技有限公司地址200233上海市徐汇区桂平路391号3号楼1605A室(72)发明人苏海昇(74)专利代理机构北京派特恩知识产权代理有限公司11270代理人崔晓岚张颖玲(51)Int.Cl.G06V40/20(2022.01)G06V20/40(2022.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书3页说明书17页附图6页(54)发明名称行为识别方法及装置、设备和存储介质(57)摘要本申请实施例公开了一种行为识别方法、装置、设备及存储介质，所述方法包括：基于获取的待识别视频序列，生成至少一个轨迹序列；其中，每一所述轨迹序列包括同一目标对象；基于每一所述轨迹序列中所述目标对象的检测框的高度变化情况，确定相应所述轨迹序列的第一识别结果；在每一所述轨迹序列的所述第一识别结果满足第一条件的情况下，对每一所述轨迹序列进行行为识别，得到相应所述轨迹序列的第三识别结果；至少基于所述至少一个轨迹序列的第一识别结果或所述至少一个轨迹序列的第三识别结果，确定所述待识别视频序列的行为识别结果。CN113963438ACN113963438A权利要求书1/3页1.一种行为识别方法，其特征在于，所述方法包括：基于获取的待识别视频序列，生成至少一个轨迹序列；其中，每一所述轨迹序列包括同一目标对象；基于每一所述轨迹序列中所述目标对象的检测框的高度变化情况，确定相应所述轨迹序列的第一识别结果；在每一所述轨迹序列的所述第一识别结果满足第一条件的情况下，对每一所述轨迹序列进行行为识别，得到相应所述轨迹序列的第三识别结果；至少基于所述至少一个轨迹序列的第一识别结果或所述至少一个轨迹序列的第三识别结果，确定所述待识别视频序列的行为识别结果。2.如权利要求1所述的方法，其特征在于，所述至少基于所述至少一个轨迹序列的第一识别结果或所述至少一个轨迹序列的第三识别结果，确定所述待识别视频序列的行为识别结果，包括：在所述至少一个轨迹序列的第一识别结果均表征相应所述轨迹序列未发生异常行为的情况下，确定所述待识别视频序列的行为识别结果为未发生异常行为；或者，在所述至少一个轨迹序列的第一识别结果表征相应所述轨迹序列发生异常行为的情况下，基于所述至少一个轨迹序列的第三识别结果，确定所述待识别视频序列的行为识别结果。3.如权利要求1或2所述的方法，其特征在于，所述在每一所述轨迹序列的所述第一识别结果满足第一条件的情况下，对每一所述轨迹序列进行行为识别，得到相应所述轨迹序列的第三识别结果，包括：在每一所述轨迹序列的所述第一识别结果表征相应所述轨迹序列中发生异常行为的情况下，确定相应所述轨迹序列中相邻帧之间的像素变化信息；基于每一所述轨迹序列中相邻帧之间的像素变化信息，确定相应所述轨迹序列的第二识别结果；在所述第二识别结果表征相应所述轨迹序列中未发生异常行为的情况下，对相应所述轨迹序列进行行为识别，得到相应所述轨迹序列的第三识别结果。4.如权利要求3所述的方法，其特征在于，所述基于每一所述轨迹序列中相邻帧之间的像素变化信息，确定相应所述轨迹序列的第二识别结果，包括：响应于每一所述轨迹序列中相邻帧之间的像素差值满足第二阈值的情况下，确定相应所述轨迹序列的第二识别结果为发生异常行为；或者，响应于每一所述轨迹序列中所述像素差值不满足所述第二阈值的情况下，确定相应所述轨迹序列的第二识别结果为未发生异常行为。5.如权利要求3或4所述的方法，其特征在于，所述方法还包括：在所述第二识别结果表征相应所述轨迹序列中发生异常行为的情况下，确定所述待识别视频序列的行为识别结果为发生异常行为。6.如权利要求1至5任一项所述的方法，其特征在于，所述基于每一所述轨迹序列内的所述目标对象的检测框的高度变化情况，确定每一所述轨迹序列的第一识别结果，包括：响应于每一所述轨迹序列内所述目标对象的检测框在相邻帧之间的高度差，不满足第一阈值的情况下，确定相应所述轨迹序列的第一识别结果为未发生异常行为；或者，2CN113963438A权利要求书2/3页响应于每一所述轨迹序列内所述目标对象的检测框在相邻帧之间的高度差，满足所述第一阈值的情况下，确定相应所述轨迹序列的第一识别结果为发生异常行为。7.如权利要求1至6任一项所述的方法，其特征在于，所述基于获取的待识别视频序列，生成至少一个轨迹序列，包括：确定所述待识别视频序列内每一帧图像中每一对象的检测框；从所述每一帧图像中每一对象的检测框中，选择所述每一帧图像中在空间位置上独立的所述检测框作为所述目标对象的检测