时序动作检测方法、装置、计算机设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113705292A(43)申请公布日2021.11.26(21)申请号202110218938.0(22)申请日2021.02.26(71)申请人腾讯科技（深圳）有限公司地址518057广东省深圳市南山区高新区科技中一路腾讯大厦35层(72)发明人林楚铭徐程明罗栋豪王亚彪邰颖汪铖杰李季檩黄飞跃(74)专利代理机构北京三高永信知识产权代理有限责任公司11138代理人祝亚男(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)权利要求书3页说明书24页附图8页(54)发明名称时序动作检测方法、装置、计算机设备及存储介质(57)摘要本申请提供了一种时序动作检测方法、装置、计算机设备及存储介质，属于人工智能领域。方法包括：对连续的多个图像帧进行特征提取，得到不同长度的多个时序特征；基于多个时序特征中最长的时序特征，获取目标特征；对于多个时序特征中的任一时序特征，基于时序特征，获取第一时间定位信息，第一时间定位信息表征时序特征中各目标时刻对应的动作开始时刻和动作结束时刻；基于时序特征、第一时间定位信息以及目标特征，对第一时间定位信息进行修正，得到第二时间定位信息。上述技术方案，不需要对各目标时刻设置锚框值来预测对应的定位框，从而减少了处理量，加快了动作检测速度。CN113705292ACN113705292A权利要求书1/3页1.一种时序动作检测方法，其特征在于，所述方法包括：对连续的多个图像帧进行特征提取，得到不同长度的多个时序特征；基于所述多个时序特征中最长的时序特征，获取目标特征；对于所述多个时序特征中的任一时序特征，基于所述时序特征，获取第一时间定位信息，所述第一时间定位信息表征所述时序特征中各目标时刻对应的动作开始时刻和动作结束时刻；基于所述时序特征、所述第一时间定位信息以及所述目标特征，对所述第一时间定位信息进行修正，得到第二时间定位信息。2.根据权利要求1所述的方法，其特征在于，所述对连续的多个图像帧进行特征提取，得到不同长度的多个时序特征，包括：对所述连续的多个图像帧进行卷积处理，得到原始时序特征，所述原始时序特征中包括属于时间维度的特征值；基于所述原始时序特征，生成所述不同长度的多个时序特征。3.根据权利要求1所述的方法，其特征在于，所述基于所述时序特征，获取第一时间定位信息，包括：从所述时序特征中获取包含定位相关信息的第一特征；基于所述第一特征，获取所述各目标时刻对应的动作开始时刻和动作结束时刻。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：从所述时序特征中获取包含分类相关信息的第二特征；基于所述第二特征，获取所述各目标时刻的第一分类信息，所述第一分类信息表征所述各目标时刻属于不同动作类别的可能性。5.根据权利要求1所述的方法，其特征在于，所述基于所述多个时序特征中最长的时序特征，获取目标特征，包括：从所述多个时序特征中获取最长的时序特征；对所述最长的时序特征进行上采样处理和卷积处理，得到所述目标特征。6.根据权利要求1所述的方法，其特征在于，所述基于所述时序特征、所述第一时间定位信息以及所述目标特征，对所述第一时间定位信息进行修正，得到第二时间定位信息，包括：基于所述第一时间定位信息，对所述时序特征和所述目标特征进行池化处理，得到显著性特征，所述显著性特征表征所述时序特征和所述目标特征中所述各目标时刻的动作开始时刻范围对应的最大特征值以及动作结束时刻范围对应的最大特征值；基于所述显著性特征，获取所述各目标时刻对应的第一偏移量和第二偏移量，所述第一偏移量表征所述各目标时刻对应的动作开始时刻的偏移量，所述第二偏移量表征所述各目标时刻对应的动作结束时刻的偏移量；基于所述各目标时刻对应的第一偏移量和第二偏移量，修正所述各目标时刻对应的动作开始时刻和动作结束时刻，得到所述第二时间定位信息。7.根据权利要求6所述的方法，其特征在于，所述基于所述第一时间定位信息，对所述时序特征和所述目标特征进行池化处理，得到显著性特征，包括：从所述时序特征中提取中心特征，所述中心特征表征所述时序特征中所述各目标时刻2CN113705292A权利要求书2/3页对应的特征值；基于所述第一时间定位信息，对所述时序特征进行池化处理，获取第一边界特征，所述第一边界特征表征所述时序特征中所述各目标时刻的动作开始时刻范围对应的最大特征值以及动作结束时刻范围对应的最大特征值；基于所述第一时间定位信息，对所述目标特征进行池化处理，获取第二边界特征，所述第二边界特征表征所述目标特征中所述各目标时刻的动作开始时刻范围对应的最大特征值以及动作结束时刻范围对应的最大特征值；基于所述中心特征、所述第一边界特征以及所述第二边界特征，获取所述显著性特