面向工业零件6D位姿估计的方法及计算机可读存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112017226A(43)申请公布日2020.12.01(21)申请号202010872000.6(22)申请日2020.08.26(71)申请人清华大学深圳国际研究生院地址518055广东省深圳市南山区西丽街道深圳大学城清华校区A栋二楼(72)发明人曾龙吕伟杰张欣宇(74)专利代理机构深圳新创友知识产权代理有限公司44223代理人孟学英(51)Int.Cl.G06T7/50(2017.01)G06T7/66(2017.01)B25J9/16(2006.01)G06K9/62(2006.01)权利要求书2页说明书10页附图7页(54)发明名称面向工业零件6D位姿估计的方法及计算机可读存储介质(57)摘要本发明提供一种面向工业零件6D位姿估计的方法及计算机可读存储介质，方法包括：确定参数值与参数关键点的映射函数并构建有限个尺寸实例的三维模型库；基于所述三维模型库，通过物理引擎和渲染引擎的仿真生成堆叠数据集，并生成参数关键点标签和参数值标签，用于训练本技术方案所提出的神经网络；预测每个点到其所属工业零件的质心和参数关键点的空间偏移向量；通过聚类算法实现堆叠场景的个体分割，获得个体的预测质心，对逐点预测的参数关键点分类，获得个体的预测参数关键点及质心，然后计算逐点预测参数值，分类后获得个体的预测参数值，用于计算模板实例的参数关键点及质心；通过最小二乘拟合方法获得6D位姿估计结果。CN112017226ACN112017226A权利要求书1/2页1.一种面向工业零件6D位姿估计的方法，其特征在于，包括如下步骤：S1：在参数化模板上，根据几何特征，确定工业零件的参数值与参数关键点的映射关系，建立映射函数；对参数值进行均匀采样和排列组合，生成多个尺寸组合的实例，建立所述实例的三维模型库；S2：基于所述三维模型库，通过物理引擎和渲染引擎的仿真生成堆叠数据集，基于所述实例的参数值和映射函数，计算所述实例的参数关键点，并通过6D位姿标签转换获得堆叠场景中工业零件的参数关键点标签和参数值标签，用于训练神经网络；S3：实时识别时，将预处理后的实际场景的点云输入训练好的神经网络中，通过逐点回归网络预测每个点到其所属工业零件的质心和参数关键点的空间偏移向量；S4：根据逐点预测的到质心的空间偏移向量和所述点云的坐标，计算逐点预测的质心，通过聚类算法实现堆叠场景的个体分割；S5：根据逐点预测的到参数关键点的空间偏移向量和所述点云的坐标，计算逐点预测的参数关键点，个体分割后的所述点云通过平均计算获得个体的预测参数关键点；S6：根据逐点预测的质心和参数关键点，计算出逐点的预测参数值，个体分割后的所述点云通过平均计算获得个体的预测参数值，然后根据所述个体的预测参数值均值计算出模板实例的参数值，进行三维重构，实时确定所述模板实例并计算出所述模板实例的参数关键点坐标及质心；S7：所述模板实例的参数关键点及质心和个体的预测参数关键点及质心一一对应，进行最小二乘拟合，获得6D位姿估计结果。2.如权利要求1所述的面向工业零件6D位姿估计的方法，其特征在于，为同一所述参数化模板的工业零件建立k个参数值与m个参数关键点坐标之间的映射函数：使得参数关键点与参数值相关联。3.如权利要求2所述的面向工业零件6D位姿估计的方法，其特征在于，获得堆叠场景中工业零件的所述参数关键点标签，同一个所述参数关键点具有至少一种取点方式时，选取仿真生成过程中距离仿真相机最近的参数关键点作为训练所述神经网络的参数关键点标签。4.如权利要求3所述的面向工业零件6D位姿估计的方法，其特征在于，步骤S3包括如下步骤：S31：获取堆叠于固定的物料箱内的工业零件的目标点云；S32：将所述目标点云的坐标(np×3)输入到训练好的所述神经网络中，其中，np为目标点云里点的个数；S33：由特征提取网络生成逐点特征向量(np×ne)，其中，ne为逐点特征向量的维度；S34：通过质心预测分支预测每个点到其所属所述工业零件的质心的空间偏移向量(np×3)，同时通过参数关键点预测分支预测每个点到其所属所述工业零件的参数关键点的空间偏移向量(np×m×3)，其中，m为参数关键点的个数；S35：根据空间偏移向量的逐点预测结果和点云坐标，即可计算出逐点预测的质心(np×3)和参数关键点(np×m×3)。5.如权利要求4所述的面向工业零件6D位姿估计的方法，其特征在于，所述质心预测分2CN112017226A权利要求书2/2页支和所述参数关键点预测分支的损失函数为：其中，ci为质心标签坐标，为预测质心坐标，ci、pi为m个标签参数关键点坐标的拼接向量，为m个预测参数关键点坐标的拼接向量，pi·6.如权利要求5所述的面向工业零件6D位姿估计的方法，其特征