一种姿态确定方法、装置、设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112241731A(43)申请公布日2021.01.19(21)申请号202011395729.5(22)申请日2020.12.03(71)申请人北京沃东天骏信息技术有限公司地址100176北京市大兴区经济技术开发区科创十一街18号院2号楼4层A402室申请人北京京东世纪贸易有限公司(72)发明人鲍慊刘武梅涛孙宇(74)专利代理机构北京派特恩知识产权代理有限公司11270代理人刘星雨张颖玲(51)Int.Cl.G06K9/00(2006.01)G06K9/46(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书14页附图5页(54)发明名称一种姿态确定方法、装置、设备及存储介质(57)摘要本申请实施例公开了一种姿态确定方法、装置、设备及存储介质，其中，所述方法包括：获取包括目标对象的待处理图像；对所述待处理图像进行特征提取，得到中间特征图；采用多分支神经网络，对所述中间特征图处理，确定所述目标对象的位置信息、二维关键点和三维模型参数；基于所述位置信息、所述二维关键点和所述三维模型参数，确定所述目标对象的三维姿态。CN112241731ACN112241731A权利要求书1/2页1.一种姿态确定方法，其特征在于，所述方法包括：获取包括目标对象的待处理图像；对所述待处理图像进行特征提取，得到中间特征图；采用多分支神经网络，对所述中间特征图处理，确定所述目标对象的位置信息、二维关键点和三维模型参数；基于所述位置信息、所述二维关键点和所述三维模型参数，确定所述目标对象的三维姿态。2.根据权利要求1所述的方法，其特征在于，所述多分支神经网络的训练过程，包括：获取包括已标注目标对象的样本图像；将所述样本图像输入待训练神经网络，采用所述待训练神经网络的第一分支网络，确定所述已标注目标对象的预测二维关键点；将所述预测二维关键点输入所述待训练神经网络的第二分支网络，以确定所述已标注目标对象的预测位置信息；将所述预测二维关键点输入所述待训练神经网络的第三分支网络，以确定所述已标注目标对象的预测三维模型参数；基于所述预测二维关键点的第一损失、所述预测位置信息的第二损失、和所述预测三维模型参数的第三损失，对所述待训练神经网络的网络参数进行调整，以使调整后的所述多分支神经网络输出的第一损失、第二损失和第三损失满足预设收敛条件。3.根据权利要求1所述的方法，其特征在于，所述对所述待处理图像进行特征提取，得到中间特征图，包括：对所述待处理图像进行预处理，得到基础图像；对所述基础图像进行特征提取，得到所述中间特征图。4.根据权利要求1所述的方法，其特征在于，所述目标对象包括至少两个待测对象，所述采用多分支神经网络，对所述中间特征图处理，确定所述目标对象的位置信息、二维关键点和三维模型参数之前，所述方法还包括：建立所述至少两个待测对象所在二维空间的二维坐标系；在所述二维坐标系中，确定每一所述待测对象的二维坐标，以得到二维坐标图；相应地，所述采用多分支神经网络，对所述中间特征图处理，确定所述目标对象的位置信息、二维关键点和三维模型参数，包括：对所述二维坐标图和所述中间特征图进行合成，生成预处理特征图；采用所述多分支神经网络的第一分支网络，在所述二维坐标系中，确定每一所述待测对象的所述二维关键点；采用所述多分支神经网络的第二分支网络，在所述二维坐标系中，确定每一所述待测对象的所述位置信息；采用所述多分支神经网络的第三分支网络，在所述二维坐标系中，确定每一所述待测对象的所述三维模型参数。5.根据权利要求4所述的方法，其特征在于，所述基于所述位置信息、所述二维关键点和所述三维模型参数，确定所述目标对象的三维姿态，包括：基于每一所述待测对象的位置信息，确定每一所述待测对象的中心位置参数和所述至2CN112241731A权利要求书2/2页少两个待测对象之间的相对位置信息；基于每一所述待测对象的三维模型参数和所述相对位置信息，生成在所述二维坐标系中的参数图；基于每一所述待测对象二维关键点和对应的中心位置参数，在所述参数图中确定出每一所述待测对象的三维姿态。6.根据权利要求5所述的方法，其特征在于，所述基于每一所述待测对象二维关键点和对应的中心位置参数，在所述参数图中确定出每一所述待测对象的三维姿态，包括：基于每一所述待测对象的二维关键点，对每一所述待测对象进行标记，得到每一所述待测对象的标记结果；基于每一所述待测对象的标记结果和对应的中心位置参数，在所述二维坐标系中，确定每一所述待测对象的中心点；基于每一所述待测对象的中心点，在所述参数图中确定出每一所述待测对象的三维姿态。7.根据权利要求6所述的方法，其特征在于，所述基于每一所述待测对象的中