目标对象的姿态检测方法、装置、设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113689503A(43)申请公布日2021.11.23(21)申请号202111237957.4(22)申请日2021.10.25(71)申请人北京市商汤科技开发有限公司地址100080北京市海淀区北四环西路58号11层1101-1117室(72)发明人于晓璇林纯泽王坤王权钱晨(74)专利代理机构北京博思佳知识产权代理有限公司11415代理人王茹(51)Int.Cl.G06T7/73(2017.01)G06T17/00(2006.01)权利要求书3页说明书14页附图4页(54)发明名称目标对象的姿态检测方法、装置、设备及存储介质(57)摘要本说明书实施例提供了一种目标对象的姿态检测方法、装置、设备及存储介质。可以获取从不同角度采集的目标对象的彩色图像以及彩色图像对应的深度图像，可以利用其中一帧彩色图像得到目标对象的三维网格模型，并且基于深度图像对目标对象进行三维重建，即可以确定其他彩色图像中的目标对象与这一帧彩色图像中的目标对象的相对姿态，进而可以确定其他彩色图像中的目标对象相对于该三维网格模型的姿态。通过本公开实施例提供的方法，针对一些无法准确提取关键点的目标对象的彩色图像，也可以准确地确定出彩色图像中目标对象相对于三维网格模型的姿态。CN113689503ACN113689503A权利要求书1/3页1.一种目标对象的姿态检测方法，其特征在于，所述方法包括：获取从不同角度采集的目标对象的彩色图像以及所述彩色图像对应的深度图像，所述彩色图像至少包括第一彩色图像和第二彩色图像；利用所述深度图像对所述目标对象进行三维重建，得到三维重建过程中相邻两帧深度图像中的目标对象的相对姿态；基于所述相邻两帧深度图像中的目标对象的相对姿态，确定所述第二彩色图像中的目标对象与所述第一彩色图像中的目标对象的第一相对姿态；基于所述第一相对姿态确定所述第二彩色图像中的目标对象相对于目标对象的三维网格模型的第二相对姿态，其中，所述三维网格模型基于所述第一彩色图像中提取的目标对象的关键点确定。2.根据权利要求1所述的方法，其特征在于，获取从不同角度采集的目标对象的彩色图像以及所述彩色图像对应的深度图像，包括：获取图像采集装置从不同角度采集得到的多帧RGBD图像，其中，相邻两帧RGBD图像中存在重叠区域。3.根据权利要求1或2所述的方法，其特征在于，所述三维网格模型基于所述第一彩色图像中提取的目标对象的关键点确定，包括：从所述第一彩色图像中提取所述目标对象的关键点；基于所述关键点和预设的标准三维网格模型拟合得到所述目标对象的三维网格模型。4.根据权利要求1或2所述的方法，其特征在于，从所述第一彩色图像中提取的目标对象的关键点数量不小于预设数量阈值，所述预设数量阈值基于所述目标对象的目标侧分布的关键点的数量确定，所述目标侧分布的关键点数量大于所述目标对象的其他侧分布的关键点数量。5.根据权利要求1所述的方法，其特征在于，所述利用所述深度图像对目标对象进行三维重建，得到三维重建过程中相邻两帧深度图像中的目标对象的相对姿态，包括：获取所述深度图像；针对所获取的任一深度图像，分别执行以下操作：将所述深度图像对应的点云模型与已重建的点云模型进行配准，得到多对匹配点对；基于所述多对匹配点对确定所述深度图像中的目标对象与所述深度图像的上一帧深度图像中的目标对象的相对姿态。6.根据权利要求5所述的方法，其特征在于，所述方法还包括：基于所述深度图像中的目标对象与所述深度图像的上一帧深度图像中的目标对象的相对姿态，将所述深度图像对应的点云模型融合到所述已重建的点云模型中，更新所述已重建的点云模型。7.根据权利要求5或6所述的方法，其特征在于，所述将所述深度图像对应的点云模型与已重建的点云模型进行配准，得到多对匹配点对，包括：确定所述深度图像对应的点云模型中的各点云点的第一属性信息，以及所述已重建的点云模型中各点云点的第二属性信息；基于所述第一属性信息与所述第二属性信息，对所述深度图像对应的点云模型和所述已重建的点云模型进行配准，得到多对匹配点对。2CN113689503A权利要求书2/3页8.根据权利要求7所述的方法，其特征在于，所述第一属性信息或所述第二属性信息包括以下一种或多种：点云点的法向量、点云点的RGB像素值。9.根据权利要求1或2所述的方法，其特征在于，在基于所述深度图像对所述目标对象进行三维重建的过程中，所述目标对象的第一侧先于所述目标对象的第二侧重建得到，其中，所述第一侧分布的关键点数量多于所述第二侧分布的关键点数量。10.根据权利要求1或2所述的方法，其特征在于，所述深度图像包括图像采集装置在绕所述目标对象旋转预定角度的过程中采集得到的多帧深度图像，所述利用所述深度图像对所述目标