姿态估计模型训练方法、姿态估计方法、装置和电子设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113095129A(43)申请公布日2021.07.09(21)申请号202110225574.9(22)申请日2021.03.01(71)申请人北京迈格威科技有限公司地址100086北京市海淀区科学院南路2号融科资讯中心A座316-318(72)发明人罗正雄王志成周而进(74)专利代理机构北京润泽恒知识产权代理有限公司11319代理人王婷婷(51)Int.Cl.G06K9/00(2006.01)G06K9/46(2006.01)G06K9/62(2006.01)权利要求书2页说明书11页附图4页(54)发明名称姿态估计模型训练方法、姿态估计方法、装置和电子设备(57)摘要本申请实施例公开了姿态估计模型训练方法、姿态估计方法、装置和电子设备。该方法的实施例包括：获取样本图像和样本图像中的关节点的初始热力图；将样本图像输入至待训练的姿态估计模型，得到样本图像中的关节点的尺度特征图、预测热力图和嵌入标签；基于尺度特征图对初始热力图进行调整，得到目标热力图；基于目标热力图、预测热力图以及嵌入标签，更新待训练的姿态估计模型的参数。该实施方式在保证处理效率的同时，提高了姿态估计结果的精度。CN113095129ACN113095129A权利要求书1/2页1.一种姿态估计模型训练方法，其特征在于，所述方法包括：获取样本图像和所述样本图像中的关节点的初始热力图；将所述样本图像输入至待训练的姿态估计模型，得到所述样本图像中的关节点的尺度特征图、预测热力图和嵌入标签；基于所述尺度特征图对所述初始热力图进行调整，得到目标热力图；基于所述目标热力图、所述预测热力图以及所述嵌入标签，更新所述待训练的姿态估计模型的参数。2.根据权利要求1所述的方法，其特征在于，所述基于所述尺度特征图对所述初始热力图进行调整，得到目标热力图，包括：选取所述初始热力图中温度值满足预设条件的目标点；确定所述目标点在所述尺度特征图中的对应点，并获取所述对应点的特征值；基于所述特征值对所述目标点的温度值进行调整，得到目标热力图。3.根据权利要求1或2所述的方法，其特征在于，所述基于所述目标热力图、所述预测热力图以及所述嵌入标签，更新所述待训练的姿态估计模型的参数，包括：基于所述预测热力图，更新热力图损失函数中的权重系数；基于所述目标热力图、所述预测热力图和更新后的热力图损失函数，确定第一损失值；基于所述嵌入标签和标签损失函数，确定第二损失值；基于所述第一损失值和所述第二损失值，更新所述待训练的姿态估计模型的参数。4.根据权利要求1‑3任一项所述的方法，其特征在于，所述获取样本图像和所述样本图像中的关节点的初始热力图，包括：获取样本图像，并确定所述样本图像中的关节点；基于所述样本图像中的关节点以及标准差为固定值的高斯核函数，生成表征所述样本图像中的关节点的初始热力图。5.根据权利要求4所述的方法，其特征在于，所述基于所述样本图像中的关节点以及标准差为固定值的高斯核函数，生成表征所述样本图像中的关节点的初始热力图，包括：确定所述样本图像中的至少一个目标对象；对于所确定出的每个目标对象，基于该目标对象的关节点以及标准差为固定值的高斯核函数，生成该目标对象的关节点的热力图；将各目标对象的关节点的热力图进行融合，得到所述样本图像中的关节点的初始热力图。6.根据权利要求5所述的方法，其特征在于，所述对于所确定出的每个目标对象，基于该目标对象的关节点以及标准差为固定值的高斯核函数，生成该目标对象的关节点的热力图，包括：对于所确定出的每个目标对象，将该目标对象中的关节点映射至目标尺寸图像，并基于标准差为固定值的高斯核函数的标准差，确定所述目标尺寸图像中的关节点对应的覆盖区域；基于所述高斯核函数确定所述覆盖区域内的各像素点的温度值，并将所述覆盖区域外的各像素点的温度值设置为预设值，得到初始热力图。7.根据权利要求6所述的方法，其特征在于，所述基于所述尺度特征图对所述初始热力2CN113095129A权利要求书2/2页图进行调整，得到目标热力图，包括：对于所述初始热力图中的每个关节点，基于所述尺度特征图中与该关节点对应的目标点的特征值，调整所述高斯核函数的标准差，基于调整标准差后的高斯核函数，重新确定该关节点对应的覆盖区域内的各像素点的温度值，得到目标热力图。8.根据权利要求6所述的方法，其特征在于，所述基于所述尺度特征图对所述初始热力图进行调整，得到目标热力图，包括：对于所述初始热力图中的每个关节点，依次将该关节点对应的覆盖区域内的每个像素点作为待调整点，基于所述尺度特征图中与所述待调整点对应的目标点的特征值，调整所述高斯核函数的标准差；基于调整所述标准差后的所述高斯核函数，对所述待调整点的温度值进行调整，得到目标热