一种基于单双目视觉协同的螺栓定位及位姿检测方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN109035200A(43)申请公布日2018.12.18(21)申请号201810645144.0(22)申请日2018.06.21(71)申请人北京工业大学地址100124北京市朝阳区平乐园100号(72)发明人刘志峰檀芳王子涵(74)专利代理机构北京思海天达知识产权代理有限公司11203代理人沈波(51)Int.Cl.G06T7/00(2017.01)G06T7/13(2017.01)G06T7/73(2017.01)G06T7/80(2017.01)权利要求书1页说明书5页附图3页(54)发明名称一种基于单双目视觉协同的螺栓定位及位姿检测方法(57)摘要本发明公开了一种基于单双目视觉协同的螺栓定位及位姿检测方法，首先使用固定位置下的双目视觉系统采集并处理的螺栓图像，获得螺栓图像边缘轮廓，计算几何质心获得特征点在螺栓图像中的位置坐标；在安装双目系统中两个工业摄像机时，把左摄像机安装在可控制移动轨迹的左机械臂上，把右摄像机安装在检修机器人的固定支座的合适高度上。设定初始工作状态为左右摄像机光轴平行且垂直于基线，工作结束后通过该控制系统关闭右相机接口，并且控制左机械臂末端运动到已获取的坐标点上方，此时为成单目视觉系统工作。本发明结合了双目系统利用深度信息定位的功能以及单目系统灵活的3d位姿匹配功能，实现了对障碍环境中待检测螺栓的识别与位姿检测。CN109035200ACN109035200A权利要求书1/1页1.一种基于单双目视觉协同的螺栓定位及位姿检测方法，其特征在于：该方法包括如下步骤：步骤1、双目视觉系统工作，获得螺栓位置坐标；步骤1.1、安装两个工业摄像机，一个工业摄像机安装在螺栓检修机器人支座合适的高度上，另一个工业摄像机安装在螺栓检修机器人可移动的机械臂上，并设定初始工作位置，两个工业摄像机的光轴平行且与基线垂直，基线为两个工业摄像机光心的连线；步骤1.2、标定双目视觉系统中的两个工业摄像机；步骤a、两个工业摄像机构成双目平行视觉系统，基于双目平行视觉系统的模型，设定世界坐标系与双目视觉系统中的左摄像机的坐标系重合；步骤b、根据张氏平面标定法中给出的棋盘格标定板，打印棋盘格图片，并用双目视觉系统采集棋盘格图片，在MATLAB提供的StereoCalibratorAPP中标定左右两个工业摄像机，获得两个工业摄像机各自的内部参数以及右摄像机相对于左摄像机的位移矩阵和旋转矩阵，用于矫正像机镜头对图像产生的畸变问题；步骤1.3、矫正左右视图；步骤a、使用构成双目视觉系统的左右两个工业摄像机，同时对待检测的包含螺栓的障碍环境进行拍照采集，获得两张图片，其中左视图是左工业摄像机采集的图片，右视图是右工业摄像机采集的图片，要求左右相机采集图片这一事件同时发生；步骤b、使用步骤1.2获得的系统的内参矩阵和外参矩阵以及畸变系数，基于对极几何中的共极性约束，矫正上一步左右工业摄像机采集的图像对；步骤1.4、获取目标点的世界坐标；步骤a、基于Canny算子对经过步骤1.3中矫正的左视图进行边缘检测以及视图中螺栓特征轮廓的提取，计算该螺栓特征轮廓的几何中心作为螺栓的图像坐标；步骤b、基于NCC(NormalizedCrossCorrelation)匹配算法对步骤1.3中经过矫正的图像对，在两视图行对正的基础上计算视差，并获得视差图；步骤c、使用步骤1.4中的步骤a中获得的图像坐标在步骤1.4中的步骤b中获得的视差图中找到对应点的视差值，基于三角测距原理，计算深度信息，基于深度值，获得螺栓的世界坐标；步骤2、单目视觉系统工作，获取螺栓在三维空间中的位姿；步骤2.1、通过步骤1中获取世界坐标流程结束，返回检修机器人的控制系统，输出指令R＝0，关闭步骤1中双目系统的右摄像机接口，构成单目视觉系统；步骤2.2、螺栓检修机器人的控制系统接收到步骤2.1中右摄像机接口关闭完成的信号后，控制机器人左机械臂移动到步骤1中获取的螺栓的坐标上方；步骤2.3、左摄像机在静止状态下采集待检测螺栓图像；步骤2.4、基于三维模型匹配，获取待检测螺栓的空间位姿；步骤a、基于已绘制的螺栓的三维模型，和已标定的左摄像机创建三维匹配模板；步骤b、基于三维匹配模板，匹配步骤2.3中采集的图像中的待检测螺栓，计算螺栓相对于三维匹配模板的位姿。2CN109035200A说明书1/5页一种基于单双目视觉协同的螺栓定位及位姿检测方法技术领域[0001]本发明涉及图像处理和计算机视觉领域，涉及HALCON软件，具体涉及一个单双目相结合的视觉系统，应用于获取螺栓的位置和位姿信息。背景技术[0002]高铁列车在高速运行中不可避免地会产生剧烈的震动，为了保证列车的高速运营的平稳性，需要定期对列车底板的连接螺栓进行