一种基于人体骨骼关键点的电力作业异常行为识别方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115966025A(43)申请公布日2023.04.14(21)申请号202310031814.0G06V20/40(2022.01)(22)申请日2023.01.10G06V10/82(2022.01)G06N3/08(2023.01)(71)申请人国网江西省电力有限公司信息通信G06T7/246(2017.01)分公司G06N3/0464(2023.01)地址330000江西省南昌市南昌高新技术产业开发区昌东大道7077号申请人国家电网有限公司(72)发明人周洋王华肖辉袁磊刘强谭如超杨涛武冬刘秋明徐伟(74)专利代理机构北京众合诚成知识产权代理有限公司11246专利代理师王焕巧(51)Int.Cl.G06V40/20(2022.01)权利要求书2页说明书5页附图2页(54)发明名称一种基于人体骨骼关键点的电力作业异常行为识别方法(57)摘要本发明公开了一种基于人体骨骼关键点的电力作业异常行为识别方法，包括如下步骤：步骤S1：获取电力作业人员存在异常行为的数据集；步骤S2：使用目标检测算法对视频图像进行目标人员检测，再使用目标跟踪算法对检测到的目标人员进行跟踪；步骤S3：对步骤S2中的目标人员检测框使用AlphaPose框架进行人体骨架信息的提取；步骤S4：将视频的每帧图像中目标人员的人体骨架按时间顺序组合得到骨架序列，根据骨架序列构建时空图，对时空图采用时空图卷积操作提取行为特征，并对行为特征进行分类，识别目标人员是否存在异常行为。本发明实现了对异常行为的准确检测，解决了现有技术中不能实时准确地对异常行为进行识别的问题。CN115966025ACN115966025A权利要求书1/2页1.一种基于人体骨骼关键点的电力作业异常行为识别方法，其特征在于：包括如下步骤：步骤S1：获取电力作业人员存在异常行为的数据集；步骤S2：使用目标检测算法对视频图像进行目标人员检测，再使用目标跟踪算法对检测到的目标人员进行跟踪；步骤S3：对步骤S2中的目标人员检测框使用AlphaPose框架进行人体骨架信息的提取；步骤S4：对捕获的视频图像逐帧处理，并构建工作人员的人体骨架模型，把它们按照时间的先后顺序排列，以得到骨架序列，再依据所得到的骨架序列建立时空图，并对其采取时空图卷积操作，得到目标人员的行为特征，将所得到的行为特征进行分类，判断出作业行为是否符合规范。2.根据权利要求1所述的一种基于人体骨骼关键点的电力作业异常行为识别方法，其特征在于：所述步骤S2中的具体步骤为：步骤S21：利用融合CSPNet的YOLOv5目标检测算法对图像进行人员检测，得到目标人员边界框；在网络主支上采用两种跨阶段局部网络的结构；在神经网络的输入端，采用Mosaic数据增强的方式，以随机缩放、随机裁剪、随机排布的方式对图片进行拼接；在神经网络的BackBone部分中采用Focus结构，并且采用CSPNet_1的结构，采用跨阶段的方法，增加BackBone部分的梯度路径；同时还在Neck部分中采用与BackBone部分不同CSPNet结构，仅仅运用普通的卷积操作，加强特征的融合；步骤S22：采用DeepSort算法进行多目标跟踪；将YOLOv5检测到的目标人员信息导入至DeepSort框架中，并将目标图像的每一帧信息都与上一帧进行级联匹配，最终得到能够准确跟踪电力作业人员的目标跟踪模型。3.根据权利要求1所述的一种基于人体骨骼关键点的电力作业异常行为识别方法，其特征在于：所述步骤S3中的具体步骤为：步骤S31：Alphapose提出一种区域多人姿态估计RMPE框架；RMPE框架由三个新组件组成：带并行SPPE的对称STN、参数姿态NMS和姿态引导建议生成器PGPG；步骤S32：PGPG通过对预先给定的人体姿势的边界框建议的条件分布进行学习，进而大量论证训练数据；因为对称STN和并行SPPE的使用，SPPE开始接受处理人类定位错误；步骤S33：使用参数姿态NMS来减少冗余检测。4.根据权利要求1所述的一种基于人体骨骼关键点的电力作业异常行为识别方法，其特征在于：所述步骤S4中的具体步骤为：步骤S41：在含有N个关节的T帧骨架序列上构建时空图G＝(V,E)；骨架序列中的所有关节被节点集V＝{vti|t＝1,…,T,i＝1,…,N}包含，边集E包括两个子集，一个是用于描述每一帧内部骨架连接的空间边集ES＝{vtivtj|(i,j)∈H}，其中H表示一组自然连接的人体关节，另一个是描述连续帧中连接相同关节的时间边EF＝{vtiv(t+1)i}；步骤S42：通过对时空图进行卷积运算，并在图形上生成更高级别的特征图并对其进行归类，从而判断出目标人物有无异常行为的具体措施有：先将节点集、空间边、时间边做正则化，再