一种3D人体姿态估计模型训练方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111523379A(43)申请公布日2020.08.11(21)申请号202010165761.8(22)申请日2020.03.11(71)申请人浙江工业大学地址310014浙江省杭州市下城区朝晖六区潮王路18号(72)发明人吴哲夫肖新宇章莹婷李玮毅吕晓哲(74)专利代理机构杭州斯可睿专利事务所有限公司33241代理人王利强(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)权利要求书2页说明书4页附图2页(54)发明名称一种3D人体姿态估计模型训练方法(57)摘要一种3D人体姿态估计模型训练方法，属于数字图像处理和机器学习的交叉技术领域，其中训练方法包括：构建姿态估计网络模型，获取目标3D样本图像，在样本图像上以固定间距设置锚点后将图像矩阵输入至网络模型，经过多轮迭代训练后得到训练好的姿态估计模型。利用训练好的网络模型可以对包含人体姿态的图像进行姿态估计。本发明采用空间设置锚点的方法，对人体的关节点坐标进行预测，能够获得很高的准确率；同时，计算量比传统的3D姿态估计要低得多，具有一定的应用前景。CN111523379ACN111523379A权利要求书1/2页1.一种3D人体姿态估计模型训练方法，其特征在于，所述方法包括以下步骤：步骤1：获取目标人体的3D图像，将图像输入到空间变换网络，输出增强后的图像；步骤2：在增强后的图像空间中设置锚点后输入到3D姿态估计网络的特征提取层，得到样本特征；步骤3：利用预测器对样本特征图进行预测，得到样本空间特征图中每个锚点对其他所有人体关节点的体素坐标偏移量和置信度，利用置信度对体素坐标偏移量进行加权求和得到空间样本图像中人体关节点的信息；步骤4：以空间样本图像中人体关节点坐标偏移损失和锚点的环绕损失最小为目的来训练网络模型，得到训练好的姿态估计模型。2.如权利要求1所述的一种3D人体姿态估计模型训练方法，其特征在于，所述步骤1中，3D图像要经过体素化处理。3.如权利要求1或2所述的一种3D人体姿态估计模型训练方法，其特征在于，所述步骤1中，空间变换网络由以下三个部分构成：第一个是本地化网络，它由常规的卷积神经网络构成，可以对变换参数进行回归；第二个是网格生成器，它在输入图像中生成与来自输出图像的每个体素相对应的坐标网格；第三个是采样器，它将转换参数应用到输入图像当中。4.如权利要求1或2所述的一种3D人体姿态估计模型训练方法，其特征在于，所述步骤2中，在图像空间中设置锚点的处理过程为：在3D样本图像的X轴、Y轴和Z轴三个方向上以固定的间距K设置多个锚点，K的取值范围为1个体素～10个体素。5.如权利要求1或2所述的一种3D人体姿态估计模型训练方法，其特征在于，所述步骤3中，获取人体关节点信息的处理过程为：利用预测器对样本特征图进行预测，得到样本特征图中每个锚点相对于其他目标人体关节点的体素坐标偏移量Oj(a)和置信度Cj(a):对所有锚点a的置信度C进行归一化处理，归一化函数为：其中，为归一化后的锚点a对于关节点j的置信度，a是锚点体素，A是锚点取值集和，j代表关节点，e为常数；利用归一化后的置信度对体素坐标偏移量进行加权求和得到样本图像中的目标关节点信息：其中，就是加权求和得到的关节点j的坐标，S(a)是锚点的体素坐标，Oj(a)是预测器预测得到的锚点a对于关节点j的体素坐标偏移。2CN111523379A权利要求书2/2页6.如权利要求5所述的一种3D人体姿态估计模型训练方法，其特征在于，所述步骤4中，空间样本图像中人体关节点坐标偏移损失为：其中，表示样本图像中目标关节点在相机坐标系下的偏移量标注；α表示权衡相机坐标系下和世界坐标系下产生的损失的权重，其取值范围为0.1～10；J表示样本图像中所有目标关节点的集和，j表示某个特定关节点，L1为空间样本图像中人体关节点坐标偏移损失，Lτ1为相机坐标系下的平滑系数。7.如权利要求5所述的一种3D人体姿态估计模型训练方法，其特征在于，所述步骤4中，空间样本图像中锚点环绕损失为：其中，L2为锚点环绕损失。8.如权利要求7所述的一种3D人体姿态估计模型训练方法，其特征在于，所述步骤4中，姿态估计网络模型在训练时，总的损失函数为：L＝λL1+(1-λ)L2其中，λ的取值范围为0～1。3CN111523379A说明书1/4页一种3D人体姿态估计模型训练方法技术领域[0001]本发明属于数字图像处理和机器学习的交叉技术领域，更具体地，涉及一种3D人体姿态估计模型训练方法。背景技术[0002]随着计算机视觉技术的发展，针对深度图以及RGB图的姿态估计技术快速发展。姿态估计在人机交互、增强现实、人体行为分