三维人体姿态预测方法、装置、介质及设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108960036A(43)申请公布日2018.12.07(21)申请号201810395266.9(22)申请日2018.04.27(71)申请人北京市商汤科技开发有限公司地址100084北京市海淀区中关村东路1号院3号楼7层710-712房间(72)发明人汪旻陈曦鹏刘文韬钱晨(74)专利代理机构北京思源智汇知识产权代理有限公司11657代理人毛丽琴(51)Int.Cl.G06K9/00(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书19页附图6页(54)发明名称三维人体姿态预测方法、装置、介质及设备(57)摘要本申请的实施方式公开了一种三维人体姿态预测方法、神经网络训练方法、装置、电子设备、计算机可读存储介质及计算机程序，其中的三维人体姿态预测方法主要包括：获取待处理图像中的人体关键点信息以及人体关键点的深度前后关系；将所述人体关键点信息和人体关键点的深度前后关系提供给第一神经网络，经由所述第一神经网络执行三维人体姿态预测处理，以获取三维人体姿态预测结果；其中，所述人体关键点的深度前后关系用于表示人体关键点之间的深度位置相对关系。本申请提供的技术方案有利于提高三维人体姿态预测的准确性，从而有利于避免由于三维人体姿态预测错误而对互动娱乐以及行为分析等产生不良影响。CN108960036ACN108960036A权利要求书1/2页1.一种三维人体姿态预测方法，其特征在于，包括：获取待处理图像中的人体关键点信息以及人体关键点的深度前后关系；将所述人体关键点信息和人体关键点的深度前后关系提供给第一神经网络，经由所述第一神经网络执行三维人体姿态预测处理，以获取三维人体姿态预测结果；其中，所述人体关键点的深度前后关系用于表示人体关键点之间的深度位置相对关系。2.根据权利要求1所述的方法，其特征在于，所述人体关键点信息包括：人体关键点在待处理图像中的二维坐标。3.根据权利要求1至2中任一项所述的方法，其特征在于，所述人体关键点的深度前后关系包括：表征一个人体关键点位于另一个人体关键点之前或之后的信息。4.根据权利要求3所述的方法，其特征在于，所述人体关键点的深度前后关系包括：人体关键点的深度前后关系矩阵；其中，所述矩阵的行数和列数为人体关键点的数量，所述矩阵的第n行表示第n个人体关键点，所述矩阵的第m列表示第m个人体关键点，所述矩阵第n行第m列的数值表示第n个人体关键点在第m个人体关键点之前或之后的概率值。5.根据权利要求1至4中任一项所述的方法，其特征在于，所述人体关键点的深度前后关系的获取过程包括：将所述待处理图像提供给第二神经网络，经由所述第二神经网络执行人体关键点的深度前后关系预测处理，以获取人体关键点的深度前后关系。6.一种神经网络的训练方法，其特征在于，用于训练神经网络的数据样本包括：人体关键点样本信息、人体关键点的深度前后关系样本信息以及用于监督的标注信息，所述训练方法包括：将数据样本中的人体关键点样本信息以及人体关键点的深度前后关系样本信息，提供给待训练的第一神经网络，经由所述待训练的第一神经网络执行三维人体姿态预测处理；利用所述数据样本中的标注信息对所述待训练的第一神经网络进行监督学习。7.一种三维人体姿态预测装置，其特征在于，包括：获取信息模块，用于获取待处理图像中的人体关键点信息以及人体关键点的深度前后关系信息；包含有第一神经网络的三维人体姿态预测模块，用于将所述人体关键点信息和人体关键点的深度前后关系信息提供给第一神经网络，经由所述第一神经网络执行三维人体姿态预测处理，以获取三维人体姿态预测结果。8.一种神经网络的训练装置，其特征在于，用于训练神经网络的数据样本包括：人体关键点样本信息、人体关键点的深度前后关系样本信息以及用于监督的标注信息，所述装置包括：包含有待训练的第一神经网络的样本预测模块，用于将数据样本中的人体关键点样本信息以及人体关键点的深度前后关系样本信息，提供给待训练的第一神经网络，经由所述待训练的第一神经网络执行三维人体姿态预测处理；监督模块，用于利用所述数据样本中的标注信息对所述待训练的第一神经网络进行监2CN108960036A权利要求书2/2页督学习。9.一种电子设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现上述权利要求1-6中任一项所述的方法。10.一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现上述权利要求1-6中任一项所述的方法。3CN108960036A说明书1/19页三维人体姿态预测方法、装置、介质及设备技术领域[0001]本申请涉及计算机视觉技术，