一种基于几何驱动的自监督人体3D姿态估计网络训练方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111062326A(43)申请公布日2020.04.24(21)申请号201911301729.1(22)申请日2019.12.17(66)本国优先权数据201911214042.42019.12.02CN(71)申请人北京理工大学地址100081北京市海淀区中关村南大街5号(72)发明人李侃李杨(74)专利代理机构北京理工正阳知识产权代理事务所(普通合伙)11639代理人张利萍(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)权利要求书3页说明书6页附图2页(54)发明名称一种基于几何驱动的自监督人体3D姿态估计网络训练方法(57)摘要本发明涉及一种基于几何驱动的自监督人体3D姿态估计网络训练方法，属于人工智能计算机视觉领域，能够有效解决当前基于深度学习的人体3D姿态网络训练需要大量的人体3D关节点标注数据的技术问题。本发明方法，不依赖人体3D关节点标注数据，完全依靠几何先验知识，可以避免繁琐的人体3D关节点的标注过程，所提出的变换重投影损失可以探索多视角一致性以训练人体3D姿态估计网络，可以在训练过程中获得更加准确的人体3D姿态预测结果，所提出的根节点位置估计网络在3D姿态估计网络训练过程中保留重投影的2D姿态的尺度信息，可以在训练过程中获得更加准确的人体3D姿态预测结果，所提出的网络预训练方法可以帮助网络训练有效地收敛。CN111062326ACN111062326A权利要求书1/3页1.一种基于几何驱动的自监督人体3D姿态估计网络训练方法，其特征在于，包括以下步骤：步骤1：采集人体姿态训练数据，构造训练数据集；步骤2：对训练数据集中的人体2D关节点进行检测；步骤3：设计一个人体3D姿态估计网络，将人体2D关节点位置投射到3D空间中，估计人体的相对3D姿态；步骤4：设立一个根节点位置估计网络，估计出根关节点在对应相机坐标下的3D位置坐标，来还原人体关节点的3D绝对位置坐标；步骤5：根据透视投影，将步骤4得到的人体3D关节点的绝对位置重投影到2D空间；步骤6：进行相机坐标转换；步骤7：计算重投影损失函数、变换重投影损失函数和预训练损失；步骤8：进行网络训练；步骤9：使用训练好的3D姿态估计网络，对未知图片中的人体3D姿态进行估计。2.如权利要求1所述的一种基于几何驱动的自监督人体3D姿态估计网络训练方法，其特征在于，步骤1构造训练数据集时，利用多个相机进行标定，记录相机的内参和外参，其中，对于场景中的同一个人，收集多个视角下相机拍摄的照片，构造训练数据集。3.如权利要求1所述的一种基于几何驱动的自监督人体3D姿态估计网络训练方法，其特征在于，步骤2至步骤3的实现方法如下：在检测人体2D关节点时，在步骤1构造的训练数据集中，从同一时刻多个视角拍摄的图片中，任意选取两张，使用层级金字塔网络，对两张图片中的人体2D关节点位置进行检测，定义X1,分别步骤2得到的两张图片中人体的N个的关节点位置的2D坐标；步骤3.1：设计一个3D姿态估计网络该网络包含四个残差模块，每个模块均由2个全连接层及其对应的批归一化层、整流线性单位层和池化层组成；最后，3D姿态估计网络连接了一个N×3通道的全连接层输出N个关节点的3D位置坐标；步骤3.2：将步骤2中得到的人体2D关节点位置X1,X2输入到3D姿态估计网络中，得到网络输出为Y1,分别为Y1,Y2两张图片中人体N个关节点位置所对应的3D坐标；此处，网络输出的3D坐标，是以根关节点为坐标原点的相对位置坐标。4.如权利要求1所述的一种基于几何驱动的自监督人体3D姿态估计网络训练方法，其特征在于，步骤4的实现方法如下：步骤4.1：设计一个根节点位置估计网络该网络包含四个残差模块，每个模块均由2个全连接层及其对应的批归一化层、整流线性单位层和池化层组成；最后，网络连接了一个N通道的全连接层输根关节点在对应相机坐标下的3D位置坐标；步骤4.2：将步骤2中得到的人体2D关节点位置，输入到根位置估计网络中，得到网络输出为rv1,表示根关节点在两张图片对应视角v1,v2的相机坐标下的3D位置坐标；2CN111062326A权利要求书2/3页v1v2步骤4.3：将r和r分别加到Y1,Y2上，还原出对应的人体3D关节点的绝对位置坐标和5.如权利要求1所述的一种基于几何驱动的自监督人体3D姿态估计网络训练方法，其特征在于，步骤5的实现方法为：按照如下公式计算：其中，ρ表示透视投影，fx和fy为相机焦距，cx和cx定义了主要点，分别表示的第ith个关节点位置的x,y,z坐标值。6.如权利要求1所述的一种基于几何驱动的自监督人体3D姿态估计网络训练方法，其特征在于，步骤6的实现方法为：通过刚体变换公式τ