一种人体姿态估计方法及系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN116012888A(43)申请公布日2023.04.25(21)申请号202310068421.7(22)申请日2023.02.06(71)申请人温州大学地址325000浙江省温州市瓯海区东方南路38号国家大学科技园孵化器(72)发明人刘福辰周斯加朱朝汉乔恒宇(74)专利代理机构温州名创知识产权代理有限公司33258专利代理师林德生(51)Int.Cl.G06V40/10(2022.01)G06V10/774(2022.01)G06V10/82(2022.01)G06N3/0464(2023.01)G06N3/08(2023.01)权利要求书2页说明书6页附图2页(54)发明名称一种人体姿态估计方法及系统(57)摘要本发明提供一种人体姿态估计方法，包括获取待估的人体姿态原图，并基于人体姿态原图选择相应热图模式，以构建相应的热图；其中，热图模式有三种，包括一个特征图的模式、两个特征图的模式和三个特征图的模式；从每一个所构建的热图上，提取关键点信息并导入预设的等高线概率模式中进行数据处理，以得到带等高线概率曲线的数据；根据所选热图模式，确定对应已训练好的关键点位置预测模型并导入带等高线概率曲线的数据进行预测，得出17个关键点的位置，以得到人体姿态。本发明还提供一种人体姿态估计系统。实施本发明，对人体姿态估计的中间过程进行改进，用以解决热图17个关键点需要17张特征图的问题。CN116012888ACN116012888A权利要求书1/2页1.一种人体姿态估计方法，其特征在于，所述方法包括以下步骤：获取待估的人体姿态原图，并基于所述待估的人体姿态原图，选择相应热图模式，以构建相应的热图；其中，所述热图模式有三种，包括17个关键点整体在同一个特征图上的第一模式、17个关键点分布在两个特征图上的第二模式和17个关键点分布在三个特征图上的第三模式；从每一个所构建的热图上提取关键点信息，并导入预设的等高线概率模式中进行数据处理，以得到带等高线概率曲线的数据；根据所选热图模式，确定对应已训练好的关键点位置预测模型并导入所得到的带等高线概率曲线的数据进行预测，得出17个关键点的位置，且进一步基于所述17个关键点的位置，得到对应的人体姿态；其中，所述已训练好的关键点位置预测模型有三种，分别对应所述热图模式中的三种模式。2.如权利要求1所述的人体姿态估计方法，其特征在于，在所述第二模式中，有上半身13个关键点和下半身4个关键点分别分布在相异的两个特征图上；在所述第三模式中，有头部5个关键点、上半身8个关键点及下半身4个关键点分别分布在相异的三个特征图上。3.如权利要求1所述的人体姿态估计方法，其特征在于，所述等高线概率模式进行数据处理是通过以预先标注的关键点位置为中心点，向外创建和欧式距离关联且具有高斯分布特性的等高概率闭合曲线来实现的。4.如权利要求3所述的人体姿态估计方法，其特征在于，所述带等高线概率曲线的数据均为高斯分布信息值。5.如权利要求4所述的人体姿态估计方法，其特征在于，通过公式得到所述高斯分布信息值Pcc(x，y)；其中，是手工设置的固定值，一般取n/64*2，且n为当前正处理的热图的宽度；xi,yi为第i个关键点在所述待估的人体姿态原图上的位置信息；x，y为第i个关键点等高概率闭合曲线上的位置信息。6.如权利要求1所述的人体姿态估计方法，其特征在于，所述三种已训练好的关键点位置预测模型均由HRNET卷积神经网络模型构建出来，并通过训练和测试得到。7.一种人体姿态估计系统，其特征在于，包括；构建热图单元，用于获取待估的人体姿态原图，并基于所述待估的人体姿态原图，选择相应热图模式，以构建相应的热图；其中，所述热图模式有三种，包括17个关键点整体在同一个特征图上的第一模式、17个关键点分布在两个特征图上的第二模式和17个关键点分布在三个特征图上的第三模式；等高线概率曲线处理单元，用于从每一个所构建的热图上提取关键点信息，并导入预设的等高线概率模式中进行数据处理，以得到带等高线概率曲线的数据；人体姿态估计单元，用于根据所选热图模式，确定对应已训练好的关键点位置预测模型并导入所得到的带等高线概率曲线的数据进行预测，得出17个关键点的位置，且进一步基于所述17个关键点的位置，得到对应的人体姿态；其中，所述已训练好的关键点位置预测模型有三种，分别对应所述热图模式中的三种模式。2CN116012888A权利要求书2/2页8.如权利要求7所述的人体姿态估计系统，其特征在于，所述第二模式中，有上半身13个关键点和下半身4个关键点分别分布在相异的两个特征图上；所述第三模式中，有头部5个关键点、上半身8个关键点及下半身4个关键点分别分布在相异的三个特征图上。9.如权利要求7所述的人体姿态估