基于关键点的多特征融合的动作识别方法、装置、介质及设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114299615A(43)申请公布日2022.04.08(21)申请号202111628958.1G06V10/774(2022.01)(22)申请日2021.12.28G06V10/80(2022.01)G06V10/82(2022.01)(71)申请人云从科技集团股份有限公司G06N3/04(2006.01)地址511457广东省广州市南沙区南沙街G06N3/08(2006.01)金隆路37号501房(仅限办公)G06K9/62(2022.01)(72)发明人莫晖(74)专利代理机构上海光华专利事务所(普通合伙)31219代理人张双凤(51)Int.Cl.G06V40/20(2022.01)G06V40/10(2022.01)G06V20/40(2022.01)G06V10/34(2022.01)G06V10/764(2022.01)权利要求书2页说明书10页附图3页(54)发明名称基于关键点的多特征融合的动作识别方法、装置、介质及设备(57)摘要本发明公开了一种基于关键点的多特征融合的动作识别方法，包括：获取目标对象的运动视频流；从所述运动视频流中提取出目标对象的骨架序列；所述骨架序列包括人体关节点以及人体关节点坐标；对所述骨架序列进行特征提取，得到骨架特征，所述骨架特征包括：姿态特征和轨迹特征；其中，所述姿态特征基于人体关节点坐标与人体中心点坐标得到，所述轨迹特征基于人体关节点坐标得到；利用训练好的分类模型对所述骨架特征进行分类，得到动作分类结果。本发明利用人体姿态特征和人与背景的轨迹特征作为输入至分类模型中的特征，丰富了用于动作识别的关键点特征，加强了模型的鲁棒性，提高了模型的精度。CN114299615ACN114299615A权利要求书1/2页1.一种基于关键点的多特征融合的动作识别方法，其特征在于，包括：获取目标对象的运动视频流；从所述运动视频流中提取出目标对象的骨架序列；所述骨架序列包括人体关节点以及人体关节点坐标；对所述骨架序列进行特征提取，得到骨架特征，所述骨架特征包括：姿态特征和轨迹特征；其中，所述姿态特征基于人体关节点坐标与人体中心点坐标得到，所述轨迹特征基于人体关节点坐标得到；利用训练好的分类模型对所述骨架特征进行分类，得到动作分类结果。2.根据权利要求1所述的基于关键点的多特征融合的动作识别方法，其特征在于，所述从所述运动视频流中提取出目标对象的骨架序列，包括：从所述运动视频流中提取连续的多帧人体图像；对所述多帧人体图像进行骨架关节点提取，得到每一帧人体图像对应的关节点组；将每一帧人体图像对应的关节点组按时间先后顺序进行组合，得到目标对象的骨架序列。3.根据权利要求1所述的基于关键点的多特征融合的动作识别方法，其特征在于，所述姿态特征包括以人体关节点作为终点，以人体中心点作为起点的特征向量；所述轨迹特征包括以人体关节点作为终点，以坐标原点作为起点的特征向量，所述坐标原点为人体图像的顶点。4.根据权利要求1所述的基于关键点的多特征融合的动作识别方法，其特征在于，在将所述骨架特征输入到分类模型前，还包括：对所述姿态特征和所述轨迹特征进行特征拼接，得到拼接特征。5.根据权利要求4所述的基于关键点的多特征融合的动作识别方法，其特征在于，在对所述姿态特征与所述轨迹特征进行特征拼接前，还包括：对所述姿态特征和所述轨迹特征进行归一化。6.根据权利要求1所述的基于关键点的多特征融合的动作识别方法，其特征在于，所述分类模型为图卷积网络的分类模型。7.根据权利要求1或6所述的基于关键点的多特征融合的动作识别方法，其特征在于，该方法还包括训练所述分类模型，在训练分类模型过程中，采用随机梯度下降法作为优化策略，选择交叉熵作为梯度反向传播的损失函数。8.根据权利要求7所述的基于关键点的多特征融合的动作识别方法，其特征在于，在训练分类模型过程中，对训练数据集进行数据增强，数据增强的方法包括以下至少之一：坐标旋转、平移、加随机的噪声扰动、随机裁剪时序、随机裁剪关节。9.一种基于关键点的多特征融合的动作识别装置，其特征在于，包括：视频流获取模块，用于获取目标对象的运动视频流；骨架序列提取模块，用于从所述运动视频流中提取出目标对象的骨架序列；所述骨架序列包括人体关节点以及人体关节点坐标；特征提取模块，用于对所述骨架序列进行特征提取，得到骨架特征，所述骨架特征包括：姿态特征和轨迹特征；其中，所述姿态特征基于人体关节点坐标与人体中心点坐标得到，所述轨迹特征基于人体关节点坐标得到；2CN114299615A权利要求书2/2页分类模块，用于利用训练好的分类模型对所述骨架特征进行分类，得到动作分类结果。10.一种基于关键点的多特征融合的动作识别设备，其特征在于，