基于融合仿射变换的纹理图像目标定位方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113643338A(43)申请公布日2021.11.12(21)申请号202110929859.0(22)申请日2021.08.13(71)申请人亿嘉和科技股份有限公司地址210000江苏省南京市雨花台区安德门大街57号5幢1楼至3楼、8楼至12楼(72)发明人程敏项导林欢(74)专利代理机构南京理工信达知识产权代理有限公司32542代理人吴茂杰唐绍焜(51)Int.Cl.G06T7/33(2017.01)G06T3/00(2006.01)G06K9/62(2006.01)权利要求书2页说明书4页附图1页(54)发明名称基于融合仿射变换的纹理图像目标定位方法(57)摘要本发明公开一种基于融合仿射变换的纹理图像目标定位方法，定位精度高。本发明的纹理图像目标定位方法，包括如下步骤：(10)柜体表面区域定位：在双目相机采集的柜体表面纹理图像上，利用模板匹配定位柜体表面区域；(20)柜体表面平面法向量计算：根据柜体表面区域内的三维点云，拟合出柜体平面，从而得到柜体表面平面法向量；(30)纹理图像仿射变换：利用单应性矩阵H，对操作时纹理图像做仿射变换，实现与建站时纹理图像的配准；(40)目标定位：在经过仿射变换的纹理图像上利用相关法模板匹配定位到目标区域，根据纹理图像与三维点云的配准关系，获取待操作目标的三维坐标。CN113643338ACN113643338A权利要求书1/2页1.一种基于融合仿射变换的纹理图像目标定位方法，其特征在于，包括如下步骤：(10)柜体表面区域定位：在双目相机采集的柜体表面纹理图像上，利用模板匹配定位柜体表面区域；(20)柜体表面平面法向量计算：根据柜体表面区域内的三维点云，拟合出柜体平面，从而得到柜体表面平面法向量；(30)纹理图像仿射变换：利用单应性矩阵H，对操作时纹理图像做仿射变换，实现与建站时纹理图像的配准；(40)目标定位：在经过仿射变换的纹理图像上利用相关法模板匹配定位到目标区域，根据纹理图像与三维点云的配准关系，获取待操作目标的三维坐标。2.根据权利要求1所述的纹理图像目标定位方法，其特征在于，所述(10)柜体表面区域定位步骤包括：(11)纹理图像采集：预先框选柜体表面矩形框区域作为模板，利用双目相机对操作目标进行建站采集、配准；(12)柜体表面区域匹配定位：在经过配准的柜体表面纹理图像上，利用模板匹配定位柜体表面区域。3.根据权利要求2所述的纹理图像目标定位方法，其特征在于，所述(12)柜体表面区域匹配定位步骤具体为：基于相关法定位目标区域，即将模板T(m，n)叠放在被搜索图S(W，H)上平移，模板覆盖被搜索图的区域称为子图Suv，u，v为子图左下角在被搜索图S(W，H)上的坐标，搜索范围是：1≤u≤W‑n，1≤v≤H‑m；W、H分别是被搜索图S(W，H)的宽和高；用下式衡量模板T和子图Suv的相似性：将其归一化，得到模板匹配的相关系数：当模板和子图一样时，相关系数R(u,v)＝1，在被搜索图S(W，H)中完成全部搜索后，找出R的最大值Rmax(um,vm)，其对应的子图Sumvm即为匹配目标。4.根据权利要求1所述的纹理图像目标定位方法，其特征在于，所述(30)纹理图像仿射变换步骤中，所述单应性矩阵H由下述过程获得：H＝K·M·K‑1，式中，K为双目相机的参数，通过张正友棋盘格标定获取，M为四元数qw+iqx+jqy+kqz的旋转矩阵，2CN113643338A权利要求书2/2页式中，qw、qx、qy、qz分别为四元数的实数系数，i、j、k分别为虚数单位。3CN113643338A说明书1/4页基于融合仿射变换的纹理图像目标定位方法技术领域[0001]本发明属于目标定位技术领域，特别是一种基于融合仿射变换的纹理图像目标定位方法。背景技术[0002]为了采用智能移动操作机器人对变电站KYN28型高压开关柜进行自动倒闸作业，机器人需要搭载六轴机械臂及末端执行器作为执行机构，同时在机械臂末端安装双目相机作为感知机构。双目相机利用双目测距原理，获取场景的纹理图像和以双目相机中心点为原点的三维点云，并且将纹理图像和三维点云进行配准，从而使得纹理图像中的每个像素点都对应一个三维坐标值。为了引导机械臂末端执行器对开关柜上的旋钮或者按钮进行操作，需要在纹理图像上精确定位到操作目标的位置，进而根据纹理图像和三维点云的配准关系获取到待操作目标点的三维位姿。[0003]在执行倒闸操作任务时，操作机器人基于激光SLAM导航至操作点位。由于导航定位存在一定的偏差，机器人每次到达的位置也存在差异，因此用双目相机拍摄的纹理图像也会存在仿射变换，直接基于模板匹配进行操作目标的定位，容易造成操作目标定位存在偏差，进而影响到机械臂操作的准确性。发明