基于视频的运动姿态识别方法及系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114842391A(43)申请公布日2022.08.02(21)申请号202210523901.3(22)申请日2022.05.14(71)申请人云知声智能科技股份有限公司地址100096北京市海淀区西三旗建材城内1幢一层101号(72)发明人宁学成刘青松梁家恩(51)Int.Cl.G06V20/40(2022.01)G06V40/20(2022.01)权利要求书2页说明书6页附图3页(54)发明名称基于视频的运动姿态识别方法及系统(57)摘要基于视频的运动姿态识别方法及系统，该方法通过获取采样视频，确认识别动作的起始位置，对采样视频拆分出连续视频帧；并且对拆分的连续视频帧进行人体检测并抠出人体图像，检测人体图像的骨骼关键点位置坐标，对骨骼关键点进行编号，根据骨骼关键点所在位置，连线并绘制含有时序信息的骨骼关键点图像；根据骨骼关键点位置坐标，提取视频帧特征并生成嵌入向量；比较嵌入向量与底库特征向量之间的距离，识别出对应连续视频帧的动作姿态。本发明剔除了冗余的外部场景信息干扰，排除了外观特征干扰，保留了动作识别所需要的肢体主干信息，只关注于用户的动作信息；保留了连续动作中蕴涵的时序信息，丰富了骨骼检测在动作识别方面的应用。CN114842391ACN114842391A权利要求书1/2页1.基于视频的运动姿态识别方法，其特征在于，包括以下步骤：获取采样视频，确认识别动作的起始位置，对所述采样视频拆分出连续视频帧；对拆分的连续视频帧进行人体检测并抠出人体图像；检测所述人体图像的骨骼关键点位置坐标，根据所述骨骼关键点所在位置，连线并绘制含有时序信息的骨骼关键点图像；根据骨骼关键点位置坐标，提取视频帧特征并生成嵌入向量；比较嵌入向量与底库特征向量之间的距离，识别出对应连续视频帧的动作姿态。2.根据权利要求1所述的基于视频的运动姿态识别方法，其特征在于，所述骨骼关键点包括右肩、右肘、右腕、左肩、左肘、左腕、右髋、右膝、右踝、左髋、左膝、左踝、头顶和脖颈。3.根据权利要求2所述的基于视频的运动姿态识别方法，其特征在于，对所述骨骼关键点进行编号，根据右肩、右肘、右腕、左肩、左肘、左腕、右髋、右膝、右踝、左髋、左膝、左踝、头顶和脖颈的所在位置按照编号连线并绘制含有时序信息的骨骼关键点图像。4.根据权利要求1所述的基于视频的运动姿态识别方法，其特征在于，对所述采样视频提取视频帧特征并生成嵌入向量的算法采用：基于采样视频内容有监督地学习视频特征生成嵌入向量，基于视频内容无监督地学习视频特征生成嵌入向量或通过用户行为学习视频特征生成嵌入向量。5.根据权利要求1所述的基于视频的运动姿态识别方法，其特征在于，逐个比较采样视频对应的嵌入向量与底库特征向量之间的欧式距离或余弦距离，选择欧式距离或余弦距离在预设范围内的嵌入向量所对应的底库特征识别出采样视频的动作类别。6.基于视频的运动姿态识别系统，其特征在于，包括：采样视频拆分模块，用于获取采样视频，确认识别动作的起始位置，对所述采样视频拆分出连续视频帧；人体抠图模块，用于对拆分的连续视频帧进行人体检测并抠出人体图像；骨骼关键点图像处理模块，用于检测所述人体图像的骨骼关键点位置坐标，根据所述骨骼关键点所在位置，连线并绘制含有时序信息的骨骼关键点图像；嵌入向量生成模块，用于根据骨骼关键点位置坐标，提取视频帧特征并生成嵌入向量；动作姿态识别模块，用于比较嵌入向量与底库特征向量之间的距离，识别出对应连续视频帧的动作姿态。7.根据权利要求6所述的基于视频的运动姿态识别系统，其特征在于，所述骨骼关键点包括右肩、右肘、右腕、左肩、左肘、左腕、右髋、右膝、右踝、左髋、左膝、左踝、头顶和脖颈。8.根据权利要求7所述的基于视频的运动姿态识别系统，其特征在于，所述骨骼关键点图像处理模块包括骨骼关键点编号子模块和骨骼关键点图像绘制子模块；所述骨骼关键点编号子模块用于对所述骨骼关键点进行编号；所述骨骼关键点图像绘制子模块用于根据右肩、右肘、右腕、左肩、左肘、左腕、右髋、右膝、右踝、左髋、左膝、左踝、头顶和脖颈的所在位置按照编号连线并绘制含有时序信息的骨骼关键点图像。9.根据权利要求6所述的基于视频的运动姿态识别系统，其特征在于，所述嵌入向量生成模块中，对所述采样视频提取视频帧特征并生成嵌入向量的算法采用：基于采样视频内容有监督地学习视频特征生成嵌入向量，基于视频内容无监督地学习视频特征生成嵌入向2CN114842391A权利要求书2/2页量或通过用户行为学习视频特征生成嵌入向量。10.根据权利要求6所述的基于视频的运动姿态识别系统，其特征在于，所述动作姿态识别模块中，逐个比较采样视频对应的嵌入向量与底库特征向量之间的欧式距离或余弦距离，选择欧式距离或余弦距离在预设范