基于多分支注意力图卷积的三维人体姿态估计方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN116030537A(43)申请公布日2023.04.28(21)申请号202310307618.1(22)申请日2023.03.28(71)申请人山东科技大学地址266590山东省青岛市黄岛区前湾港路579号(72)发明人尹燕芳刘明朱其刚张帅帅(74)专利代理机构青岛锦佳专利代理事务所(普通合伙)37283专利代理师朱玉建(51)Int.Cl.G06V40/20(2022.01)G06V20/64(2022.01)G06V10/80(2022.01)G06V10/82(2022.01)G06V10/766(2022.01)权利要求书4页说明书8页附图4页(54)发明名称基于多分支注意力图卷积的三维人体姿态估计方法(57)摘要本发明属于人体姿态估计技术领域，具体公开了一种基于多分支注意力图卷积的三维人体姿态估计方法。本发明设计了针对节点对自身贡献、对连接的相邻节点的贡献以及对全局其他节点的贡献的基于多分支的多W核矩阵图卷积特征提取层，克服了W核矩阵共享的缺点，提高了图卷积的特征表达能力。本发明通过添加可学习的边注意力矩阵及全局权重矩阵，实现了对自身节点、相邻节点的特征以及全局特征的提取与聚合，克服了经典图卷积只能提取局部特征的缺点。本发明还通过将设计的多分支注意力图卷积操作层与全连接网络相结合，构建了三维人体姿态估计的回归模型，在大大减少模型参数量的前提下，实现了基于图卷积的单帧三维人体姿态的最佳估计精度。CN116030537ACN116030537A权利要求书1/4页1.基于多分支注意力图卷积的三维人体姿态估计方法，其特征在于，包括如下步骤：步骤1.搭建基于多分支注意力图卷积操作MulitBA_GConv的端到端的三维人体姿态估计模型，其包括二维人体姿态识别模型以及MulitBA_GCN三维人体姿态识别模型；二维人体姿态识别模型用于接收二维图像输入并输出二维图像中人体对应的二维姿态；MulitBA_GCN三维人体姿态识别模型用于接收二维人体姿态识别模型预测得出的二维姿态数据，并将该二维姿态数据作为输入回归出人体的三维姿态数据；MulitBA_GCN三维人体姿态识别模型包括输入层、中间特征提取层以及输出层；输入层是由一个MulitBA_GConv块组成；中间特征提取层是由多个残差模块依次串联组成；其中，每个残差模块均是由两个MulitBA_GConv块和一个残差块连接组成；输入特征在每个残差模块中的处理过程为：输入特征依次经过两个MulitBA_GConv块处理后的特征再与输入特征相加后构成该残差模块的输出特征；每个所述MulitBA_GConv块均是由一个MulitBA_GConv图卷积操作层、一个批归一化BatchNormal1D操作层以及一个ReLU操作串联层组成；输出层由一个MulitBA_GConv图卷积操作层和一个全连接层构成；每个MulitBA_GConv图卷积操作层均包括多分支特征提取层、局部边注意力实现层、全局注意力实现层以及特征融合层；其中：多分支特征提取层，针对节点对自身贡献、对连接的相邻节点的贡献以及对全局其他节点的贡献这三种不同的特征，分别使用三个可学习的转换矩阵进行特征转换和提取；局部边注意力实现层，通过添加一个可学习的边注意力矩阵作为每一个边的注意力，分别用于聚合来自于自身节点的特征以及相邻节点的特征；全局注意力实现层，通过添加一个可学习的全局权重矩阵表示行归一化后的全局注意力，用于聚合全局特征；特征融合层，利用注意力对采用多分支特征提取层提取到的三种不同的特征分别进行关注和聚合，对聚合后的三种特征进行融合；步骤2.对搭建好的三维人体姿态估计模型进行训练；步骤3.采用训练好的三维人体姿态估计模型进行三维人体姿态估计，得到估计结果。2.根据权利要求1所述的三维人体姿态估计方法，其特征在于，所述多分支特征提取层中，分别使用不同的转换矩阵进行特征转换和提取，公式如下：；其中，、、是分别提取到供特征融合层在聚合时使用的特征；表2CN116030537A权利要求书2/4页示输入特征；表示用于提取给自身节点信息的转换矩阵，为用于提取给相邻节点信息的转换矩阵，为用于提取给全局其他节点信息的转换矩阵。3.根据权利要求2所述的三维人体姿态估计方法，其特征在于，所述局部边注意力实现层中，添加一个可学习的边注意力矩阵作为每一个边的注意力；其中，K表示边的个数；定义边注意力矩阵的值表示节点i对节点j的依赖程度；新的邻接关系表示为：；其中，邻接矩阵A+I仅作为一个掩模；对于节点i，只关注学到的与其邻接节点j∈N(i)的权重，N(i)表示i的所有相邻节点；是Softmax算符，实现行归一化功能，它使所有邻接节点j对节点i的边的权重之和为1；由于新的邻接关系包含