一种实时轻量级2D人体姿态估计方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114140828A(43)申请公布日2022.03.04(21)申请号202111477999.5G06V10/82(2022.01)(22)申请日2021.12.06G06K9/62(2022.01)G06N3/04(2006.01)(71)申请人西北大学G06N3/08(2006.01)地址710069陕西省西安市太白北路229号(72)发明人耿国华李启航冯龙王雨赵燕婷武浩东周蓬勃刘阳洋(74)专利代理机构西安众和至成知识产权代理事务所(普通合伙)61249代理人强宏超(51)Int.Cl.G06V40/10(2022.01)G06V10/30(2022.01)G06V10/34(2022.01)G06V10/32(2022.01)G06V10/764(2022.01)权利要求书2页说明书4页附图5页(54)发明名称一种实时轻量级2D人体姿态估计方法(57)摘要本发明公开了一种实时轻量级2D人体姿态估计方法：首先提取视频帧图像，消除图像中的高斯噪声，然后通过融入注意力机制的目标检测算法检测图像中的目标人物位置，再通过改进的轻量级OpenPose模型提取人体骨骼关节点坐标，后利用贝塞尔曲线得到关节运动轨迹，同时使用轨迹相似性度量算法计算得到关节间的距离数组，最后利用线性变换分类器对获取的关节点坐标进行分类，从而快速准确地识别出人物的姿态；本发明工作高效，更具实时性，以较低的设备成本运行，并以较低的计算量处理骨架数据，对噪声的干扰具有很强的鲁棒性，使人体姿态估计方法更具准确性、及时性以及在复杂的环境背景下表现更佳，消除了光线和阴影对人体姿态估计的影响。CN114140828ACN114140828A权利要求书1/2页1.一种实时轻量级2D人体姿态估计方法，其特征在于，包括以下步骤：步骤1：对视频流提取出的视频帧图像进行预处理：以中心点为基准，将图像统一缩放裁剪；步骤2：对步骤1得到的视频帧图像进行平滑处理，并抑制图像中的高斯噪声；步骤3：将Senet通道注意力机制融入到目标检测算法中，对步骤2得到的图像进行目标检测；步骤4：在原始的OpenPose模型网络中，用深度可分离卷积为核心的Mobilenet网络替换VGG19；步骤5：通过改进的OpenPose模型提取人体骨骼关节点坐标；步骤6：将步骤5获得的人体骨骼关节点坐标通过贝塞尔曲线得到关节运动轨迹，并使用轨迹相似性度量算法得到关节间的距离数组；步骤7：利用线性变换分类器对步骤6获取的关节点坐标进行分类，判断人物的行为姿态。2.根据权利要求1所述的实时轻量级2D人体姿态估计方法，其特征在于：所述的步骤1中将图像统一缩放裁剪为512×512mm大小。3.根据权利要求1所述的实时轻量级2D人体姿态估计方法，其特征在于：所述的步骤2中使用高斯滤波器抑制图像中的高斯噪声。4.根据权利要求1所述的实时轻量级2D人体姿态估计方法，其特征在于：所述的步骤3中将Senet通道注意力机制融入到Tiny_YOLOv3目标检测算法中，对步骤2得到的图像进行目标检测。5.根据权利要求1所述的实时轻量级2D人体姿态估计方法，其特征在于：所述的步骤4中用深度可分离卷积为核心的Mobilenet网络替换OpenPose网络结构中的VGG19，同时采用residual结构的3个3×3的卷积替换一个7×7卷积。6.根据权利要求5所述的实时轻量级2D人体姿态估计方法，其特征在于：采用深度可分离卷积的形式对每一个3×3卷积继续改进。7.根据权利要求6所述的实时轻量级2D人体姿态估计方法，其特征在于：步骤4所述的深度可分离卷积由深度卷积和点卷积组成；假设输入图像大小为D1×D1×M，卷积核大小为DK×DK×M，输出图像大小为D0×D0×N，则传统卷积的参数量为：Wstand＝(DK×DK×M)×N(1)其中，Wstand表示的传统卷积的参数量，DK×DK代表卷积核的长、宽，D1×D1和D0×D0分别代表输入图像和输出图像的长和宽，M和N代表图像的深度；而深度卷积的卷积核尺寸大小为(DK，DK，1)，共有M个，点卷积的卷积核尺寸大小为(1，1，M)，共有N个，则深度卷积和点卷积的参数量为：Wdepthwise＝(DK×DK×1)×M(2)Wpointwise＝(1×1×M)×N(3)其中Wdepthwise表示深度卷积的参数量，Wpointwise表示点卷积的参数量；因此，深度可分离卷积参数量为：WD＝Wdepthwise+Wpointwise2CN114140828A权利要求书2/2页＝(DK×DK×1)×M+(1×1×M)×N(4)其中，WD表示的是深度可分离卷积参数量；所以，深度可分离卷积参数量与传统卷积参数量的参数之比为：其中η表