一种基于单目相机视觉标靶定位的机械臂引导方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113643380A(43)申请公布日2021.11.12(21)申请号202110939348.7(22)申请日2021.08.16(71)申请人安徽元古纪智能科技有限公司地址236000安徽省合肥市经济技术开发区宿松路3963号C3-311(72)发明人夏科睿马姓彭超(74)专利代理机构合肥市浩智运专利代理事务所(普通合伙)34124代理人郑浩(51)Int.Cl.G06T7/80(2017.01)G06T7/70(2017.01)G06T7/50(2017.01)G06F17/16(2006.01)权利要求书6页说明书15页附图3页(54)发明名称一种基于单目相机视觉标靶定位的机械臂引导方法(57)摘要一种基于单目相机视觉标靶定位的机械臂引导方法，属于计算机视觉与机器人领域，解决如何满足复杂环境光线下机械臂对视觉引导作业的灵活性、可靠性以及精度的要求的问题；灵活使用不同尺寸、不同编码、不同结构的标签码定制视觉标靶，定制完成后对标靶进行标定，在提高视觉标靶灵活性的同时保证精度；使用多级曝光图像进行视觉标靶检测与位姿求解，通过多级曝光采集图像，并提供一种视觉标靶的检测与位姿解算方法，在保证检测与定位精度的同时，提高视觉标靶的环境鲁棒性以及精度；定位完成后对视觉定位结果进行评估，有利于不同场景下的可靠性需求；具备成本低廉、算法计算复杂度低、精度高、鲁棒性强的特点，可灵活部署至各种机械臂作业场景。CN113643380ACN113643380A权利要求书1/6页1.一种基于单目相机视觉标靶定位的机械臂引导方法，其特征在于，包括以下步骤：1)系统部署与标定，包括：S1、部署机械臂手眼系统，选取不同尺寸、不同编码、不同结构的标签码制作视觉标靶，设定系统参数；S2、建立整套系统坐标系；S3、标定相机参数，标定标靶角点坐标；2)使用多级曝光图像进行视觉标靶检测与位姿解算，包括：S4、多级曝光采集多幅图像；S5、检测标签码，筛选出标签码数量最多区域最大的多幅图像；S6、求解潜在标靶位姿；S7、计算重投影误差，计算一阶微分矩阵行列式的值；3)定位结果评估与坐标变换，包括：S8、计算视觉标靶位姿；S9、评估标靶位姿解算结果是否可靠，如果是，坐标变换后发送至机械臂控制器；如果否，丢弃本次位姿解算结果。2.根据权利要求1所述的一种基于单目相机视觉标靶定位的机械臂引导方法，其特征在于，步骤S1中：所述机械臂手眼系统的硬件结构包括：机械臂、单目相机、视觉标靶、标定板，安装单目相机于机械臂中，使得单目相机与机械臂本体某一部分保持相对不变关系；将视觉标靶与标定板固定于同一平面内，根据机械臂手眼系统的布置方法安装标定板；保持标定板与机械臂本体某一部分保持相对不变关系；所述视觉标靶用于机械臂的视觉引导，视觉标靶由多个处于同一平面且ID或编码互不相同的标签码组成；所述设定系统参数包括：设定区域面积阈值Sdis，一阶微分矩阵阈值Jlim，误差范围阈值Elim，误差差异系数阈值Eratio，标靶偏移Toffset。3.根据权利要求2所述的一种基于单目相机视觉标靶定位的机械臂引导方法，其特征在于，步骤S2中所述的建立系统坐标系，具体方法为：设相机坐标系为{cam}，机械臂末端法兰盘坐标系为{end}，机械臂基座坐标系为{base}，视觉标靶坐标系为{obj}，标靶偏移坐标系为{offset}，标定板坐标系为{board}；选定机械臂基座制定{base}坐标系，机械臂第一关节轴的轴心向上方向为z轴，第一关节前向x轴，根据笛卡尔坐标系的性质即可确定y轴；对于视觉标靶坐标系为{obj}的规则参照视觉标靶制作；标靶偏移坐标系{offset}根据系统参数标靶偏移Toffset而定；对于标定板坐标系{board}，选取标定板左上角为坐标原点，横向方向为x轴，纵向方向为y轴；相机坐标系{cam}的建立选用计算机视觉内常见的针孔相机模型建立。4.根据权利要求3所述的一种基于单目相机视觉标靶定位的机械臂引导方法，其特征在于，步骤S3中所述的标定相机参数，标定标靶中角点坐标，具体方法为：使用机械臂示教器操作机械臂，选取多个位置角度对标定板与视觉标靶进行拍照保存，每次拍照时通过机械臂示教器读取法兰盘坐标系在机械臂基坐标系下的位姿关系并记录；以拍摄有标定板的图像数据为基础；使用张正友相机参数标定法求解相机内参以及每2CN113643380A权利要求书2/6页个拍照位姿下相机坐标系与棋盘格标定板坐标系之间的关系，相关表达式为：其中，Kcam表示相机内参，zc表示像素深度，表示标定板坐标系{board}在相机坐T标系{cam}下的关系。通过标定得到集合以及相机内参Kcam。[u，v]表示图像坐标系下的像素坐标，[X，