一种基于深度学习的人体行为的识别方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114220176A(43)申请公布日2022.03.22(21)申请号202111576609.XG06K9/62(2022.01)(22)申请日2021.12.22G06T7/246(2017.01)G06T7/277(2017.01)(71)申请人南京华苏科技有限公司G06N3/04(2006.01)地址211300江苏省南京市高淳区淳溪街G06N3/08(2006.01)道宝塔路258号苏宁雅居39幢10号(72)发明人王计斌陈大龙(74)专利代理机构南京北辰联和知识产权代理有限公司32350代理人陆中丹(51)Int.Cl.G06V40/20(2022.01)G06V20/40(2022.01)G06V10/40(2022.01)G06V10/75(2022.01)G06V10/774(2022.01)权利要求书2页说明书10页附图7页(54)发明名称一种基于深度学习的人体行为的识别方法(57)摘要本发明涉及基于深度学习的人体行为的识别方法，包括步骤：S1收集数据：采集数据，形成数据集；S2数据集处理：输入数据集，并对数据集中的数据进行人员检测及跟踪，并通过人体姿态估计提取每个数据集的骨骼信息，并进行姿态估计，获得姿态估计结果；S3危险行为分析：使用数据集训练并构建ST‑GCN识别模型，再将姿态估计结果输入ST‑GCN识别模型进行危险行为分析和识别，获得识别结果并输出识别结果。利用目标检测的YOLOV4算法进行人体检测，再对人体进行目标跟踪，此处采用的是DeepSort跟踪算法，利用OpenPose进行骨骼关节点的提取，最终将骨骼序列利用ST‑GCN识别模型进行人体行为识别。CN114220176ACN114220176A权利要求书1/2页1.一种基于深度学习的人体行为的识别方法，其特征在于，包括以下步骤：S1收集数据：采集数据，形成数据集；S2数据集处理：输入数据集，并对数据集中的数据进行人员检测及跟踪，提取每个数据集的骨骼信息，并进行姿态估计，获得姿态估计结果；S3危险行为分析：使用数据集训练并构建ST‑GCN识别模型，再将姿态估计结果输入ST‑GCN识别模型进行危险行为分析和识别，获得识别结果并输出识别结果。2.根据权利要求1所述的基于深度学习的人体行为的识别方法，其特征在于，所述步骤S3将姿态估计结果输入ST‑GCN识别模型前先对姿态估计结果进行增强处理，即加入随机扰动对获得的姿态估计结果进行骨骼关节点位置微调，从而实现数据增强，增强后的数据作为识别的骨骼序列。3.根据权利要求1所述的基于深度学习的人体行为的识别方法，其特征在于，所述步骤S2的具体步骤为：S21：首先采用YOLO模型进行的人员检测，并判定是否存在漏检，若存在漏检，则手动框选检测框；若不在漏检，则转至步骤S22；S22：采用优化的DeepSort算法进行人员跟踪；S23：采用OpenPose人体姿态估计算法来获取骨骼信息，所述骨骼信息包含骨骼的x,y坐标信息和置信度；再根据所述骨骼信息进行姿态估计。4.根据权利要求2所述的基于深度学习的人体行为的识别方法，其特征在于，所述步骤S3中对姿态估计结果进行增强处理的具体包括以下步骤：S31：获取所述步骤S2中骨骼信息中的关键节点的位置信息；S32：获取各个关节点到脖子关节点的距离；S33：根据关节点到人体重心的距离关系，按照ratio＝[0.01,0.99]计算关节点偏移范围；S34：在各个关节点移动范围内，选择一个具体的偏移值，作为骨骼关节点位置微调的值。5.根据权利要求3所述的基于深度学习的人体行为的识别方法，其特征在于，所述步骤S22中采用优化的DeepSort算法进行人员跟踪的具体包括以下步骤：S221：对上一帧检测结果进行卡尔曼滤波预测，获得预测结果；S222：通过匈牙利算法进行当前帧检测，获得当前帧结果与所述步骤S221中获得的预测结果级联匹配；S223：若存在漏检时，对未匹配的预测结果进行卡尔曼滤波预测，将结果缓存；S224：当未匹配的目标再次被检测到时，对检测结果与缓存的结果进行级联匹配后，重新追踪。6.根据权利要求4所述的基于深度学习的人体行为的识别方法，其特征在于，所述步骤S33中计算关节点的偏移范围的公式为：xoffset＝ratio[xlabel]*distance(1)xoffset则为偏移范围，ratio[xlabel]表示该关节点可以调整的比例，distance表示该关节点值脖子的距离。7.根据权利要求5所述的基于深度学习的人体行为的识别方法，其特征在于，所述步骤2CN114220176A权利要求书2/2页S23的具体步骤为：S231：首先通过卷积神经网络VGG19提取图像特征；S232：再使用