动作检测方法、装置和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114201029A(43)申请公布日2022.03.18(21)申请号202010910739.1(22)申请日2020.09.02(71)申请人中国电信股份有限公司地址100033北京市西城区金融大街31号(72)发明人张萍陈云海刘晓玲林立宇(74)专利代理机构中国贸促会专利商标事务所有限公司11038代理人曹蓓(51)Int.Cl.G06F3/01(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书7页附图4页(54)发明名称动作检测方法、装置和存储介质(57)摘要本公开提出一种动作检测方法、装置和存储介质，涉及图像处理技术领域。本公开的一种动作检测方法，包括：根据视频图像获取被测人的关节点的位置，生成被测人的骨架图；根据预定时间长度内的预定数量的被测人的骨架图，获取骨架序列图；根据骨架序列图，通过神经网络模型确定被测人是否执行目标动作，输出判断结果，其中，神经网络模型为通过确认为人在执行目标动作下的骨架序列图，以及确认为人在未执行目标动作下的骨架序列图训练生成。通过这样的方法，能够在图像中提取人体运动过程中骨架的动态，基于骨架位置的变化通过神经网络模型确定人体动作，充分利用了人在动作下姿态变化隐含信息，提高了动作确定的准确度。CN114201029ACN114201029A权利要求书1/2页1.一种动作检测方法，包括：根据视频图像获取被测人的关节点的位置，生成所述被测人的骨架图；根据预定时间长度内的预定数量的所述被测人的骨架图，获取骨架序列图；根据所述骨架序列图，通过神经网络模型确定所述被测人是否执行目标动作，输出判断结果，其中，所述神经网络模型为通过确认为人在执行目标动作下的骨架序列图，以及确认为人在未执行目标动作下的骨架序列图训练生成。2.根据权利要求1所述的方法，其中，所述生成所述被测人的骨架图包括：按照关节点的连接关系连接所述关节点的位置，获取被测人的骨架位置，生成以预定第一颜色为背景，预定第二颜色为骨架图像的骨架图。3.根据权利要求1所述的方法，其中，所述根据预定时间长度内的预定数量的所述被测人的骨架图，获取骨架序列图包括：每间隔连续图像中的预定第一数量帧，获取一帧待处理骨架图像，直至获取预定第二数量帧的所述待处理骨架图像，作为骨架图序列；将所述骨架图序列中骨架图像取并集，将所述骨架图序列合成为所述骨架序列图。4.根据权利要求1所述的方法，其中，所述根据所述骨架序列图，通过神经网络模型确定所述被测人是否执行目标动作还包括：通过卷积神经网络CNN提取所述骨架序列图的预定维数的特征向量，通过分类器判断是否执行目标动作。5.根据权利要求1所述的方法，还包括：采集视频数据，获取视频图像中的人体姿态；筛选符合预定动作集合的动作下的人体姿态的图像；根据筛选出的图像分别生成骨架序列图，并根据对应的动作设置执行目标动作或未执行目标动作的标签，将生成的骨架序列图和对应的标签作为训练数据；通过所述训练数据训练所述神经网络模型，直至训练完成。6.根据权利要求1所述的方法，其中，所述目标动作为摔倒。7.根据权利要求5所述的方法，其中，所述预定动作集合包括摔倒，以及包括弯腰、坐、躺或行走中的一项或多项；其中，所述弯腰、坐、躺和行走的动作对应的标签为未摔倒；所述摔倒动作对应的标签为摔倒。8.一种动作检测装置，包括：骨架图获取单元，被配置为根据视频图像获取被测人的关节点的位置，生成所述被测人的骨架图；骨架序列图获取单元，被配置为根据预定时间长度内的预定数量的所述被测人的骨架图，获取骨架序列图；判断单元，被配置为根据所述骨架序列图，通过神经网络模型确定所述被测人是否执行目标动作，输出判断结果，其中，所述神经网络模型为通过确认为人在执行目标动作下的骨架序列图，以及确认为人在未执行目标动作下的骨架序列图训练生成。9.根据权利要求8所述的装置，还包括：训练单元，被配置为：采集视频数据，获取视频图像中的人体姿态；2CN114201029A权利要求书2/2页筛选符合预定动作集合的动作下的人体姿态的图像；根据筛选出的图像分别生成骨架序列图，并根据对应的动作设置执行目标动作或未执行目标动作的标签，将生成的骨架序列图和对应的标签作为训练数据；通过所述训练数据训练所述神经网络模型，直至训练完成。10.一种动作检测装置，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器的指令执行如权利要求1至7任一项所述的方法。11.一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现权利要求1至7任意一项所述的方法的步骤。3CN114201029A说明书1/7页动作检测方法、装置和存储介质技