一种人体动作识别方法、装置及设备.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115019343A(43)申请公布日2022.09.06(21)申请号202210668939.X(22)申请日2022.06.14(71)申请人浙江大华技术股份有限公司地址310053浙江省杭州市滨江区滨安路1187号(72)发明人潘华东魏乃科殷俊(74)专利代理机构北京同达信恒知识产权代理有限公司11291专利代理师潘平(51)Int.Cl.G06V40/10(2022.01)G06V40/20(2022.01)G06V10/44(2022.01)G06V10/764(2022.01)权利要求书2页说明书12页附图4页(54)发明名称一种人体动作识别方法、装置及设备(57)摘要本申请公开了一种人体动作识别方法、装置及设备，通过接收包括人体的多帧图像，根据预先定义的组成动作的动作基础要素，解析各帧图像中的动作基础要素；根据解析得到的动作基础要素，确定人体各部件间的关联关系以及人体各部件与其他目标之间的关联关系，得到每帧图像中人体对应的肢体状态；根据预先定义的不同基础动作对应的肢体状态间的转换关系，确定所述多帧图像按照采样时间对应的肢体状态间的转换关系所匹配的基础动作；根据不同自定义动作对应的基础动作组合，得到所述所匹配的基础动作对应的自定义动作。通过该方法可以针对不同行业的需求进行动作识别。CN115019343ACN115019343A权利要求书1/2页1.一种人体动作识别方法，其特征在于，所述方法包括：接收包括人体的多帧图像，根据预先定义的组成动作的动作基础要素，解析各帧图像中的动作基础要素；根据解析得到的动作基础要素，确定人体各部件间的关联关系以及人体各部件与其他目标之间的关联关系，得到每帧图像中人体对应的肢体状态；根据预先定义的不同基础动作对应的肢体状态间的转换关系，确定所述多帧图像按照采样时间对应的肢体状态间的转换关系所匹配的基础动作；根据不同自定义动作对应的基础动作组合，得到所述所匹配的基础动作对应的自定义动作。2.根据权利要求1所述的方法，其特征在于，预先定义的组成动作的动作基础要素包括如下至少一种：人体不同部位对应的人体部件、人体动作时不同部件对应的关键点、人体部件动作时不同位置对应的关键点、与人体动作相关的目标区域、与人体动作相关的目标物体。3.根据权利要求1所述的方法，其特征在于，根据解析得到的动作基础要素，确定人体各部件间的关联关系以及人体各部件与其他目标之间的关联关系，得到每帧图像中人体对应的肢体状态，包括：根据解析得到的动作基础要素，确定人体各部件间的关联关系、人体各部件与目标物体之间的距离和角度、人体轨迹的静态关系或动态变化关系。4.根据权利要求1～3任一所述的方法，其特征在于，还包括：预先通过不同样本图像及对应的肢体状态训练肢体状态分类模型；其中，通过将各帧图像输入肢体状态分类模型，通过所述肢体状态分类模型解析各帧图像中的动作基础要素，及根据解析得到的动作基础要素，确定人体各部件间的关联关系以及人体各部件与其他目标之间的关联关系，得到每帧图像中人体对应的肢体状态。5.根据权利要求1～3任一所述的方法，其特征在于，根据解析得到的动作基础要素，确定人体各部件间的关联关系以及人体各部件与其他目标之间的关联关系，得到每帧图像中人体对应的肢体状态，包括：获取预先定义的不同肢体状态对应的人体各部件间的关联关系以及人体各部件与其他目标之间的关联关系的逻辑组合；根据解析得到的动作基础要素，确定人体各部件间的关联关系以及人体各部件与其他目标之间的关联关系对应的逻辑组合，得到每帧图像中人体对应的肢体状态。6.根据权利要求5所述的方法，其特征在于，所述人体各部件间的关联关系以及人体各部件与其他目标之间的关联关系对应的逻辑组合，包括如下至少一种：人体动作时不同部件对应的关键点与人体不同部位对应的人体部件之间的位置关系；人体动作时不同部件对应的关键点与所述与人体动作相关的目标区域之间、或与人体动作相关的目标物体之间的位置关系；与上一帧图像数据相比，人体动作时不同部件对应的关键点的移动方向和移动速度；人体动作时不同部件对应的关键点之间的距离关系；人体动作时不同部件对应的线段之间的关系，所述关系包括线段长度之间的比值、线段之间是否相交以及线段相交的角度，所述人体部件线段由预先定义的任意两个人体部件2CN115019343A权利要求书2/2页关键点构建；手指指向，所述指向包括向上指向、向下指向、向左指向、向右指向中的至少一种。7.根据权利要求2所述的方法，其特征在于，得到每帧图像中人体对应的肢体状态之后，还包括：确定每帧图像中人体相对于采集设备的人体方向，得到不同人体方向对应的肢体状态；其中人体方向包括：人体正面向采集设备、人体正背向采集设备、人体面向采集设备并