人体行为的识别方法、装置、计算机设备和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113887424A(43)申请公布日2022.01.04(21)申请号202111163448.1(22)申请日2021.09.30(71)申请人深圳奇迹智慧网络有限公司地址518021广东省深圳市罗湖区南湖街道人民南路3002号国贸大厦1818(72)发明人李立赛(74)专利代理机构广州华进联合专利商标代理有限公司44224代理人刘佳妮(51)Int.Cl.G06K9/00(2006.01)G06N3/04(2006.01)G06N20/00(2019.01)权利要求书2页说明书12页附图4页(54)发明名称人体行为的识别方法、装置、计算机设备和存储介质(57)摘要本申请涉及一种人体行为的识别方法、装置、计算机设备和存储介质。方法包括：从目标视频的视频帧图像中截取指定的区域图像；在区域图像提取各人体不同部位的关键点；对各不同部位的关键点进行组合，得到多个关键点集合；其中，各关键点集合中均存在至少三个部位的关键点，且不同关键点集合中之间至少存在一个不同部位的关键点；针对每个关键点集合，在当前关键点集合内，计算以目标部位的关键点为顶点分别指向剩余部位的关键点的射线所形成的夹角，直至得到每个关键点集合对应的夹角；基于各夹角确定人体对应的人体行为。采用本方法提高了人体行为识别算法的实时性，且极大的降低了计算量。CN113887424ACN113887424A权利要求书1/2页1.一种人体行为的识别方法，其特征在于，所述方法包括：从目标视频的视频帧图像中截取指定的区域图像；在所述区域图像提取各人体不同部位的关键点；对各不同所述部位的关键点进行组合，得到多个关键点集合；其中，各所述关键点集合中均存在至少三个所述部位的关键点，且不同所述关键点集合中之间至少存在一个不同所述部位的关键点；针对每个所述关键点集合，在当前所述关键点集合内，计算以目标部位的关键点为顶点分别指向剩余部位的关键点的射线所形成的夹角，直至得到每个所述关键点集合对应的夹角；基于各所述夹角确定所述人体对应的人体行为；所述人体行为，用于生成对应的多媒体指令，以根据所述多媒体指令对多媒体设备进行控制。2.根据权利要求1所述的方法，其特征在于，所述从目标视频的图像帧中截取指定的区域图像包括：对目标视频进行解码，得到视频帧图像序列；在所述视频帧图像序列中选取当前视频帧图像；从所述当前视频帧图像中截取指定的区域图像。3.根据权利要求1所述的方法，其特征在于，所述在所述区域图像提取各人体不同部位的关键点包括：通过机器学习模型对所述区域图像进行关键点提取，得到各人体不同部位的关键点；所述对各不同所述部位的关键点进行组合，得到多个关键点集合之前，所述方法还包括：通过所述机器学习模型确定所述关键点的坐标；从各所述人体不同部位的坐标中，选出关于各所述人体左右对称的各不同所述部位的坐标，形成坐标对；当在水平方向上所述坐标对中人体右侧部位的坐标大于人体左侧部位的坐标时，判定所述坐标对对应的所述人体为背对人体；将所述背对人体对应的各所述关键点进行删除。4.根据权利要求1所述的方法，其特征在于，所述对各不同所述部位的关键点进行组合，得到多个关键点集合之前，所述方法还包括：对所述区域图像中各所述人体的不同部位进行热力计算，得到各相同所述部位分别对应的关键点热力图；当所述关键点热力图中目标人体的关键点置信度不大于预设置信度时，判定所述目标人体为不完整人体；将所述目标人体对应的所述关键点进行删除。5.根据权利要求1所述的方法，其特征在于，所述基于各所述夹角确定所述人体对应的人体行为包括：将各所述夹角进行组合，得到不同夹角向量；不同所述夹角向量对应不同人体行为；基于不同所述夹角向量确定所述人体对应的所述人体行为。6.根据权利要求1所述的方法，其特征在于，当前所述关键点集合包括脖子关键点、鼻2CN113887424A权利要求书2/2页子关键点、左肩关键点；所述方法还包括：所述计算以目标部位的关键点为顶点分别指向剩余部位的关键点的射线所形成的夹角包括：以所述脖子关键点为顶点，绘制指向所述鼻子关键点的第一射线，以及，绘制指向所述左肩关键点的第二射线；以所述第一射线顺时针方向转到所述第二射线形成的角，作为射线的夹角。7.根据权利要求3或4所述的方法，其特征在于，所述方法还包括：在删除关键点之后，若剩余的所述关键点的总数小于预设数量时，重新获取所述目标视频的视频帧图像，在新获取的所述视频帧图像中截取区域图像。8.一种人体行为的识别装置，其特征在于，所述装置包括：截取模块，用于从目标视频的视频帧图像中截取指定的区域图像；提取模块，用于在所述区域图像提取各人体各不同部位的关键点；组合模块，用于对各不同所述部位的关键点进行组合，得到多个关键点集合