一种轻量级的实时人体姿态估计方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113947784A(43)申请公布日2022.01.18(21)申请号202111265907.7G06N3/04(2006.01)(22)申请日2021.10.28G06N3/08(2006.01)(71)申请人四川长虹电器股份有限公司地址621000四川省绵阳市高新区绵兴东路35号(72)发明人吴文平高岚谢梓溪(74)专利代理机构四川省成都市天策商标专利事务所(有限合伙)51213代理人张秀敏(51)Int.Cl.G06V40/10(2022.01)G06V10/774(2022.01)G06V10/82(2022.01)G06K9/62(2022.01)G06F9/50(2006.01)权利要求书1页说明书3页附图3页(54)发明名称一种轻量级的实时人体姿态估计方法(57)摘要本发明公开了一种轻量级的实时人体姿态估计方法，加载训练数据COCO或者MPII等数据集，通过数据增强方法生成训练数据Heatmap特征图和关键点；分别训练Heatmap预测模块和回归预测模块；裁剪模型结构，去掉Heatmap预测模块，保留回归预测模块，直接预测人体关键点。本发明针对传统模型结构复杂，难以满足实时处理的问题，采用轻量级网络MobilenetV2重构Hourglass网络模型作为主干网络进行预测，可在嵌入式设备上进行实时推理；增加回归模块预测方法，直接预测人体关键点，有效降低CPU和内存占用，可满足实际应用的需求。CN113947784ACN113947784A权利要求书1/1页1.一种轻量级的实时人体姿态估计方法，其特征在于，包括：步骤S1、加载数据集，并通过数据增强方法生成训练数据；步骤S2、依照沙漏网络模型Hourglass堆叠网络构建原始的编解码模块，将Hourglass的基本网络单元残差模块替换为轻量级网络MobilenetV2中的反残差模块，形成轻量级编解码模块；轻量级编解码模块包括轻量级编码模块和轻量级解码模块，轻量级编码模块用于在图像上提取人体关键点特征，轻量级解码模块用于为轻量级编码模块提取的人体关键点恢复图像空间位置信息并输出Heatmap特征图；轻量级编码模块的输出层后面连接轻量级回归模块，轻量级回归模块的输入为轻量级编码模块的输出结果，输出为人体关键点预测坐标；步骤S3、分别训练轻量级编解码模块和轻量级回归模块，具体为：训练轻量级编解码模块，输入为训练数据中的图像，输出Heatmap特征图，采用均方误差MSE损失函数loss预测，待loss下降并保持稳定时，停止训练；冻结轻量级编解码模块参数，仅训练轻量级回归模块参数，输入为训练数据中的图像，输出为人体关键点预测坐标，采用均方误差MSE损失函数loss预测，待loss下降并保持稳定时，停止训练；步骤S4、裁剪模型，去掉轻量级解码模块，保留轻量级回归模块；步骤S5、采用轻量级回归模块直接预测人体关键点。2.根据权利要求1所述的一种轻量级的实时人体姿态估计方法，其特征在于，轻量级回归模块采用与轻量级编码模块相同的结构，且在最后层新增一个卷积层用于回归预测人体关键点，中间层连接方式与原始的编解码模块相同。2CN113947784A说明书1/3页一种轻量级的实时人体姿态估计方法技术领域[0001]本发明涉及计算机视觉技术领域，具体的说，是一种轻量级的实时人体姿态估计方法。背景技术[0002]人体姿态估计是计算机视觉领域的重要问题之一，旨在从图像中估计人体的若干关键点。现有技术中人体姿态估计方法存在的问题有：1.模型结构往往比较复杂，模型推理时间长，计算量大，难以满足嵌入式端实时处理的要求，典型如CPM，Hourglass等模型；2.传统方法基本都采用Heatmap进行关键点预测，需要进行CPU后处理计算，其耗时代价和消耗内存都相对太大，难以满足电视端等嵌入式设备CPU占用要求。发明内容[0003]本发明的目的在于提供一种轻量级的实时人体姿态估计方法，用于解决现有技术中人体姿态估计方法不满足实时处理要求以及占用CPU和内存较大的问题。[0004]本发明通过下述技术方案解决上述问题：[0005]一种轻量级的实时人体姿态估计方法，包括：[0006]步骤S1、加载数据集，并通过数据增强方法生成训练数据；[0007]步骤S2、依照沙漏网络模型Hourglass堆叠网络构建原始的编解码模块，将Hourglass的基本网络单元残差模块替换为轻量级网络MobilenetV2中的反残差模块，形成轻量级编解码模块；轻量级编解码模块包括轻量级编码模块和轻量级解码模块，轻量级编码模块用于在图像上提取人体关键点特征，轻量级解码模块用于为轻量级编码模块提取的人体关键点恢复图像空间位置信息并输出Heatmap特征图；轻量级