视频动作检测方法、装置、电子设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113705303A(43)申请公布日2021.11.26(21)申请号202110297281.1(22)申请日2021.03.19(71)申请人腾讯科技（深圳）有限公司地址518057广东省深圳市南山区高新区科技中一路腾讯大厦35层(72)发明人李岩(74)专利代理机构广州三环专利商标代理有限公司44202代理人熊永强贾允(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书16页附图8页(54)发明名称视频动作检测方法、装置、电子设备及存储介质(57)摘要本申请公开了一种视频动作检测方法、装置、电子设备及存储介质，涉及视频处理技术领域，所述方法包括获取目标视频的原始特征序列，所述原始特征序列包括目标视频中的每帧图像对应的原始特征；将所述原始特征序列输入动作边界预测模型进行动作边界预测，得到所述每帧图像对应的动作边界预测值；分别基于所述每帧图像对应的动作边界预测值对所述每帧图像对应的原始特征进行边界增强处理，得到所述目标视频的边界增强特征序列；将所述边界增强特征序列输入视频动作检测模型进行视频动作检测，得到所述目标视频的动作检测结果，所述动作检测结果包括所述目标视频中动作的起止位置信息。利用本申请提供的技术方案能够提升视频动作检测的精度和可靠性。CN113705303ACN113705303A权利要求书1/2页1.一种视频动作检测方法，其特征在于，所述方法包括：获取目标视频的原始特征序列，所述原始特征序列包括所述目标视频中的每帧图像对应的原始特征；将所述原始特征序列输入动作边界预测模型进行动作边界预测，得到所述每帧图像对应的动作边界预测值；分别基于所述每帧图像对应的动作边界预测值对所述每帧图像对应的原始特征进行边界增强处理，得到所述目标视频的边界增强特征序列；将所述边界增强特征序列输入视频动作检测模型进行视频动作检测，得到所述目标视频的动作检测结果，所述动作检测结果包括所述目标视频中动作的起止位置信息。2.根据权利要求1所述的方法，其特征在于，所述动作检测结果还包括所述目标视频中动作的类型信息；所述视频动作检测模型包括动作位置检测子模型和动作类型检测子模型；所述将所述边界增强特征序列输入视频动作检测模型进行视频动作检测，得到所述目标视频的动作检测结果包括：将所述边界增强特征序列分别作为所述动作位置检测子模型和所述动作类型检测子模型的输入，在所述动作位置检测子模型中进行动作起止位置检测，并在所述动作类型检测子模型中进行动作类型检测，得到所述目标视频中动作的起止位置信息和类型信息。3.根据权利要求1或2所述的方法，其特征在于，所述每帧图像对应的动作边界预测值包括所述每帧图像对应的动作起始预测值和动作结束预测值；所述分别基于所述每帧图像对应的动作边界预测值对所述每帧图像对应的原始特征进行边界增强处理，得到所述目标视频的边界增强特征序列包括：分别基于所述每帧图像对应的动作起始预测值和动作结束预测值对所述每帧图像对应的原始特征进行边界增强处理，得到所述每帧图像对应的边界增强特征；基于所述目标视频中的每帧图像对应的边界增强特征生成所述目标视频的边界增强特征序列。4.根据权利要求3所述的方法，其特征在于，所述分别基于所述每帧图像对应的动作起始预测值和动作结束预测值对所述每帧图像对应的原始特征进行边界增强处理，得到所述每帧图像对应的边界增强特征包括：基于所述每帧图像对应的动作起始预测值对所述每帧图像对应的原始特征进行加权计算，得到第一加权特征；基于所述每帧图像对应的动作结束预测值对所述每帧图像对应的原始特征进行加权计算，得到第二加权特征；对所述第一加权特征和所述第二加权特征进行拼接处理，得到所述每帧图像对应的边界增强特征。5.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：获取多个标注有动作边界标签的样本帧图像对应的原始特征；基于所述多个标注有动作边界标签的样本帧图像对应的原始特征，对预设神经网络模型进行动作边界预测的训练，在动作边界预测的训练中调整所述预设神经网络模型的模型参数直至所述预设神经网络模型满足预设收敛条件，得到所述动作边界预测模型。6.根据权利要求5所述的方法，其特征在于，所述获取多个标注有动作边界标签的样本2CN113705303A权利要求书2/2页帧图像对应的原始特征包括：获取多个标注有动作起止位置信息的样本帧图像序列；根据所述动作起止位置信息对所述样本帧图像序列中的每个样本帧图像进行动作边界标注，得到所述每个样本帧图像的动作边界标签；将每个标注有所述动作边界标签的样本帧图像输入特征提取模型，基于所述特征提取模型