一种基于人体拓扑感知网络的三维人体姿态估计方法及系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115908497A(43)申请公布日2023.04.04(21)申请号202211563969.0G06N3/09(2023.01)(22)申请日2022.12.07(71)申请人北京大学深圳研究生院地址518055广东省深圳市南山区西丽深圳大学城北京大学校区(72)发明人刘宏蔡家伦丁润伟(74)专利代理机构北京君尚知识产权代理有限公司11200专利代理师邱晓锋(51)Int.Cl.G06T7/246(2017.01)G06T7/73(2017.01)G06T17/00(2006.01)G06N3/0464(2023.01)G06N3/048(2023.01)权利要求书2页说明书6页附图2页(54)发明名称一种基于人体拓扑感知网络的三维人体姿态估计方法及系统(57)摘要本发明涉及一种基于人体拓扑感知网络的三维人体姿态估计方法及系统。本方法利用人体拓扑的分层次结构和运动约束，充分捕捉信息密度稀疏的人体关节点数据中的先验信息，有效缓解了人体末端关节点估计精度不足的问题。本方法构建了一种多层次特征提取聚合框架，可以由细粒度到粗粒度依次提取关节点层次、肢体层次、全身层次的特征信息；构建了同一肢体内关节点间的运动约束关系，利用父节点辅助高误差的末端关节点的预测。本发明充分利用人体拓扑中高度结构化的先验信息，无需引入额外的数据，便可在控制模型参数量的情况下获得更丰富的人体姿态表征学习能力。CN115908497ACN115908497A权利要求书1/2页1.一种基于人体拓扑感知网络的三维人体姿态估计方法，其特征在于，包括以下步骤：利用预训练好的二维人体姿态估计器从包含人体信息的图片中提取出二维关节点坐标；利用空间特征嵌入模块将二维关节点坐标填充为高维向量；将高维向量划分为三部分子向量；第一部分子向量中，利用局部关节点构建模块对关节点间的物理连接进行建模；第二部分子向量中，利用肢体内约束模块对肢体层次的运动约束关系进行建模；第三部分子向量中，利用全局信息交互模块对身体层次的长距离交互进行建模；将各子向量中提取到的分层次信息依次连接并聚合；利用空间感知器模型对聚合后的高维向量提取高级语义特征；利用预测头模块对高级语义特征进行回归，最终输出关节点的三维坐标。2.如权利要求1所述的方法，其特征在于，利用均方根损失函数对输出的关节点的三维坐标和真实值间进行监督学习。3.如权利要求1所述的方法，其特征在于，所述的局部关节点构建模块采用图卷积网络，利用邻接矩阵模仿人体关节点间的物理连接关系；所述邻接矩阵仅考虑人体关节点间的物理连接和每个关键点与该关键点的自身相连。4.如权利要求1所述的方法，其特征在于，所述的肢体内约束模块由两组一维标准卷积和空间感知器组成；该模块利用一维标准卷积和替换操作，引入同一肢体中的父节点来约束具有高运动复杂度的末端关节点的运动；所述的两组一维标准卷积的卷积核分别是2和3，其跨步值也分别为2和3。5.如权利要求1所述的方法，其特征在于，所述的全局信息交互模块利用自注意力机制捕获全身关节点层次的长距离特征；所述的自注意力机制包含多个自注意力头，且仅考虑关节点间的空间信息交互。6.如权利要求1所述的方法，其特征在于，所述的将各子向量中提取到的分层次信息依次连接并聚合的过程结合了并行和串行的框架，一方面对于输入的高维特征通道进行拆分，并采用并行处理的方式来控制模型的参数量；另一方面，依次串行连接局部关节点构建模块、肢体内约束模块和全局信息交互模块，从而获得从细粒度到粗粒度的特征提取。7.如权利要求1所述的方法，其特征在于，所述的预测头模块包含一层全连接网络。8.一种基于人体拓扑感知网络的三维人体姿态估计系统，其特征在于，包括：二维关节点坐标提取模块，用于利用预训练好的二维人体姿态估计器从包含人体信息的图片中提取出二维关节点坐标；空间特征嵌入模块，用于将二维关节点坐标填充为高维向量；通道拆分模块，用于将高维向量划分为三部分子向量；局部关节点构建模块，用于利用第一部分子向量对关节点间的物理连接进行建模；肢体内约束模块，用于利用第二部分子向量对肢体层次的运动约束关系进行建模；全局信息交互模块，用于利用第三部分子向量对身体层次的长距离交互进行建模；通道合并模块，用于将各子向量中提取到的分层次信息依次连接并聚合；空间感知器模块，用于对聚合后的高维向量提取高级语义特征；预测头模块，用于对高级语义特征进行回归，最终输出关节点的三维坐标。2CN115908497A权利要求书2/2页9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行权利要求1～7中任一项所述方法的指令。10.一种计算机可读存储介