基于序列结构神经网络模型的人体异常行为动作的检测识别方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN116012943A(43)申请公布日2023.04.25(21)申请号202211705010.6G06V10/80(2022.01)(22)申请日2022.12.29G06V10/778(2022.01)G06N3/0464(2023.01)(71)申请人国网河南省电力公司唐河县供电公G06N3/096(2023.01)司G06N3/082(2023.01)地址473400河南省南阳市唐河县新华中路38号(72)发明人李晓阳王天彬郑伟郑道收郑丽李卓政陈慎(74)专利代理机构郑州图钉专利代理事务所(特殊普通合伙)41164专利代理师孔艳阳(51)Int.Cl.G06V40/20(2022.01)G06V20/52(2022.01)G06V10/82(2022.01)权利要求书2页说明书5页附图1页(54)发明名称基于序列结构神经网络模型的人体异常行为动作的检测识别方法(57)摘要本发明涉及基于序列结构神经网络模型的人体异常行为动作的检测识别方法，方法包括以下步骤：步骤1：多角度下的人体动作和行为的检测与识别；步骤2：复杂监控环境下电力设施状态的检测与识别；步骤3：人体动作行为和电力设施检测模型的实时性优化方法；步骤4：监控环境下的训练数据库构建和高效训练；本发明具有实现智能安全监控、有效防范事故发生、智能识别安全作业区域、智能识别作业人员行为的优点。CN116012943ACN116012943A权利要求书1/2页1.基于序列结构神经网络模型的人体异常行为动作的检测识别方法，其特征在于：所述的方法包括以下步骤：步骤1：多角度下的人体动作和行为的检测与识别；步骤2：复杂监控环境下电力设施状态的检测与识别；步骤3：人体动作行为和电力设施检测模型的实时性优化方法；步骤4：监控环境下的训练数据库构建和高效训练。2.如权利要求1所述的基于序列结构神经网络模型的人体异常行为动作的检测识别方法，其特征在于：所述的步骤1具体为：由于变电站背景下电力工作人员相对监控摄像头的方位是不确定的，而人的动作和行为主要由运动姿态体现，因此，人体姿态估计是计算机理解和判断电力作业人员动作和行为的关键步骤，为了能适应不同角度下的人体姿态估计采用基于序列结构深度卷积网络模型的人体姿态估计，通过序列结构神经网络的两个分支来联合学习身体的各部分的关联性，获得关键点位置和关键点之间的联系，关键点位置和各关键点之间的关联关系可以有效地实现对人体各种运动姿态的提取和估计，可满足对操作人员行为和动作的判断需求，此外，为达到高精度和实时性需求，可利用全局纹理信息以及自下而上的方法，即通过全局上下文信息编码人的肢体的位置和方向信息的二维向量场，来解决多人姿态估计的问题。3.如权利要求1所述的基于序列结构神经网络模型的人体异常行为动作的检测识别方法，其特征在于：所述的步骤2具体为：由于复杂环境下电力设施状态检测与识别是实现对电力设施的状态判断的基础，复杂环境下电力设施的大小尺度不一，光照强度不同，采用基于自上而下的多尺度特征融合技术，并构建基于多尺度卷积神经网络的电力设施检测与识别，此外，电力设施的检测与识别也给变电站周围安全区域的提取提供很大便利。4.如权利要求3所述的基于序列结构神经网络模型的人体异常行为动作的检测识别方法，其特征在于：所述的步骤2中的基于多尺度卷积神经网络的电力设施检测与识别具体为：基于多尺度卷积神经网络架构的检测模型可以实现对不同尺度的电力设施的高精度检测，可以有效应对复杂变电站环境的变化，通过在特征提取的骨干网络上引出四个检测分支，不同检测分支间的信息可以交互融合，进一步提升电力设施的检测精度，特征提取的骨干网络可以采用MobileNetV2。5.如权利要求1所述的基于序列结构神经网络模型的人体异常行为动作的检测识别方法，其特征在于：所述的步骤3具体为：由于人体动作和行为与电力设施状态之间的交互判断必须满足实时性需求，才能及时向监控控制中心传输施工现场的智能识别结果，以便为进一步管控处理提供宝贵时间，因此构建轻量级神经网络，以实现及时有效地输出识别结果，并且在不降低模型识别精度的情况下，大幅度减少网路模型运行的时间开销，能够在检测精度与实时性之间可以达到很好的平衡。6.如权利要求1所述的基于序列结构神经网络模型的人体异常行为动作的检测识别方法，其特征在于：所述的步骤4具体为：高质量的数据库是开展人工智能研究的基础，基于变电站监控环境下的数据搜集来自两个方面：一、典型变电站监控环境下的监控成像系统搭建，结合变电站操作人员操作规范，采集变电站监控环境下的工人各种规范流程操作视频数据；二、在现有监控数据平台下，搜集和整理电力工作人员现场操作的数据；除以上两点外，当前基于变换的数据扩充方法也可以