一种基于机器视觉的工件定位方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110599544A(43)申请公布日2019.12.20(21)申请号201910731047.8(22)申请日2019.08.08(71)申请人佛山科学技术学院地址528000广东省佛山市南海区狮山镇广云路33号(72)发明人罗陆锋黄豪杰卢清华陈为林(74)专利代理机构广州嘉权专利商标事务所有限公司44205代理人蔡伟杰(51)Int.Cl.G06T7/73(2017.01)G06K9/32(2006.01)G06K9/62(2006.01)权利要求书2页说明书6页附图1页(54)发明名称一种基于机器视觉的工件定位方法及装置(57)摘要本发明涉及智能机器人技术领域，具体涉及一种基于机器视觉的工件定位方法及装置，首先确定目标工件，采集Kinect相机拍摄的图像，检测所述图像中包含所述目标工件图像的预测框；进而根据所述预测框的回归坐标确定所述目标工件的轮廓，以及目标工件中心点的二维坐标；接着获取所述Kinect相机的标定参数，根据所述标定参数和所述目标工件中心点的二维坐标得出目标工件中心点的三维坐标；最后将所述目标工件的轮廓和所述目标工件中心点的三维坐标作为目标工件的定位结果，本发明可以对工件进行准确的识别与定位。CN110599544ACN110599544A权利要求书1/2页1.一种基于机器视觉的工件定位方法，其特征在于，包括：确定目标工件，采集Kinect相机拍摄的图像，检测所述图像中包含所述目标工件图像的预测框；根据所述预测框的回归坐标确定所述目标工件的轮廓，以及目标工件中心点的二维坐标；获取所述Kinect相机的标定参数，根据所述标定参数和所述目标工件中心点的二维坐标得出目标工件中心点的三维坐标；将所述目标工件的轮廓和所述目标工件中心点的三维坐标作为目标工件的定位结果。2.根据权利要求1所述的一种基于机器视觉的工件定位方法，其特征在于，所述检测所述图像中包含所述目标工件图像的预测框，包括：获取多张原始图像，所述原始图像中包含所述目标工件图像；标注出每张所述原始图像中目标工件图像的区域框，将标注了区域框的原始图像作为训练图像，将多张所述训练图像作为训练图像集；将所述训练图像集输入Faster-R-CNN神经网络进行训练，输出测试框，其中，所述测试框包括工件框和背景框，所述Faster-R-CNN神经网络的输出层包括背景标签和目标工件标签；将所述测试框和区域框进行比对，根据所述比对结果将所述测试框划分为背景框和包含目标工件图像的工件框，直至完成对所述训练图像集的训练；将完成训练后的Faster-R-CNN神经网络作为检测模型；将Kinect相机拍摄的图像输入所述检测模型，检测出包含所述目标工件图像的预测框。3.根据权利要求2所述的一种基于机器视觉的工件定位方法，其特征在于，所述将所述测试框和区域框进行比对，根据所述比对结果将所述测试框划分为背景框和包含目标工件图像的工件框，具体为：通过以下公式计算所述测试框和区域框的重合度：其中，GT表示测试框，ER表示区域框，area(GT∩ER)为所述测试框和区域框的重叠区域，area(GT∪ER)为所述测试框和区域框的合并区域，IOU为所述测试框和区域框的重合度；将所述重合度大于0.7的测试框作为工件框，将所述重合度小于0.3的测试框作为背景框。4.根据权利要求1所述的一种基于机器视觉的工件定位方法，其特征在于，所述根据所述预测框的回归坐标确定所述目标工件的轮廓，以及目标工件中心点的二维坐标，包括：对所述预测框进行阈值化处理，生成二值化图像；采用边缘检测算法检测所述二值化图像的边缘轮廓，通过最小外接矩形法获取所述边缘轮廓的最小外接矩形，将所述最小外接矩形作为目标工件的轮廓；计算所述最小外接矩形的中心点坐标，将所述中心点坐标作为目标工件中心点的二维坐标。2CN110599544A权利要求书2/2页5.根据权利要求1所述的一种基于机器视觉的工件定位方法，其特征在于，所述根据所述标定参数和所述目标工件中心点的二维坐标得出目标工件中心点的三维坐标，具体为：获取相机的标定参数，所述标定参数包括：相机在x轴上的焦距fx，相机在y轴上的焦距fy，相机在x轴上的光圈中心cx，相机在y轴上的光圈中心cy，深度图的缩放因子s，深度图的深度值d；通过以下公式计算目标工件中心点的三维坐标：d＝z·s其中，(u,v)为目标工件中心点的二维坐标，(x,y,z)为目标工件中心点的三维坐标。6.一种基于机器视觉的工件定位装置，其特征在于，所述装置包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序运行在以下装置的模块中：预测框检测模块，用于确定目标工件，采集Kinect相机拍摄的图像