基于双目视觉伺服的空间高精度装配方法和系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113751981A(43)申请公布日2021.12.07(21)申请号202110957704.8G06T7/136(2017.01)(22)申请日2021.08.19G06T7/70(2017.01)G06T5/00(2006.01)(71)申请人哈尔滨工业大学（深圳）地址518000广东省深圳市南山区桃源街道深圳大学城哈尔滨工业大学校区G栋314(72)发明人楼云江张南谢一新杨先声(74)专利代理机构深圳市深联知识产权代理事务所(普通合伙)44357代理人张琪(51)Int.Cl.B23P19/00(2006.01)B25J9/16(2006.01)G06T7/55(2017.01)G06T7/11(2017.01)权利要求书3页说明书11页附图5页(54)发明名称基于双目视觉伺服的空间高精度装配方法和系统(57)摘要本发明涉及基于双目视觉伺服的空间高精度装配方法和系统。其中的方法包括：触发左目和右目相机同时检测待装配零部件中的目标，从相机捕捉的图像中实时提取目标中当前特征点的像素坐标；基于特征点之间的直线约束，对任一相机所捕捉的不完整的目标，实施双目视野的三维重建；根据特征点的像素误差，通过图像雅可比矩阵建立特征点和相机速度的关系，获得基坐标系下目标的速度，并且在上臂和下臂机构之间进行自由度限制下的速度分配。其中系统包括配套的双目视觉系统和实施上述方法的计算机装置。本发明简化了双模块机器人的伺服装配控制难度，实现协同装配。另外，采用基于几何约束的三维重建方法估计缺失特征的位置，获得良好的装配识别效果。CN113751981ACN113751981A权利要求书1/3页1.一种基于双目视觉伺服的空间高精度装配方法，用于在包含上臂机构和下臂机构的双模块机器人中对零部件的装配，其中，在所述上臂机构的末端动平台上设有双目视觉系统和装配夹具，待装配的零部件至少由所述下臂机构的末端动平台限定位置，其特征在于，所述方法包括以下步骤：S1、触发双目视觉系统中的左目相机和右目相机同时检测待装配零部件中的目标，从相机捕捉的图像中实时提取所述目标中当前特征点的像素坐标；S2、基于特征点之间的直线约束，对左目相机和右目相机中的任一相机所捕捉的不完整的目标，实施双目视野的三维重建；S3、根据特征点的像素误差，通过图像雅可比矩阵建立特征点和相机速度的关系，获得基坐标系下的目标的速度，并且在上臂机构和下臂机构之间进行自由度限制下的速度分配。2.根据权利要求1所述的方法，其中，所述步骤S1包括：S11、对所述左目相机和所述右目相机所捕获的图像进行均值滤波平滑，并且将图像转至HSV颜色空间，进行颜色阈值分割；S12、通过轮廓检测和椭圆中心点拟合算法，检测所述目标中的多个特征点及计算坐标；S13、在检测到的多个特征点中，计算特征点之间的距离，从而选取距离超过一阈值的至少四个特征点建立连接线，其中，多个的特征点的连线之间具有平行、共线和垂直中的多个几何约束关系。3.根据权利要求2所述的方法，其中，所述步骤S13还包括：选取所述左目相机和所述右目相机所捕获的图像的重叠部分中的特征点作为实施双目视野的三维重建的公共参考点。4.根据权利要求2或3所述的方法，其中，所述步骤S2包括：S21、分别对于左目相机和右目相机所捕捉的图片，从多个特征点中，通过第一几何约束关系分别求解左目相机和右目相机所采集的图像中的目标特征点的三维坐标；S22、分别对于左目相机和右目相机所捕捉的图片，求解所述目标特征点相对于公共参考点的距离和连线；S23、引入第二几何约束关系，所述第二几何约束关系为左目相机和右目相机所捕捉的目标特征点与公共参考点之间的几何关系，并且在实施双目视野的三维重建时，通过所述第二几何约束关系，将所述左目相机和所述右目相机的三维重建图像数据合并。5.根据权利要求4所述的方法，其中，所述第一几何约束关系为垂直关系，所述第二几何约束关系为共线关系，所述目标特征点包括待装配零部件中沿矩形四角分布的四个角点。6.根据权利要求5所述的方法，其中，所述步骤S2进一步包括：通过以下方程组求解所采集的图像中的像素点在双目视觉系统的相机坐标系对应深度值2CN113751981A权利要求书2/3页其中，sL、sR分别是左目相机和右目相机所采集的图像的像素点在相机坐标系下的深度值，KL、KR分别是左目相机和右目相机的内参标定矩阵，为右相机到左相机的空间变换旋转矩阵，分别是左目相机和右目相机所采集的图像平面上的像素齐次坐标，是右目相机到左目相机的空间变换旋转矩阵，a＝y2‑y1，b＝x1‑x2，c＝x2y1‑x1y2，其中，(x1，y1)和(x2，y2)分别是左目相机所采集的图像中的两个特征点的像素坐标；然后根据双