一种基于图像超分辨率重建的圆孔位姿视觉检测方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110390696A(43)申请公布日2019.10.29(21)申请号201910595852.2(22)申请日2019.07.03(71)申请人浙江大学地址310058浙江省杭州市西湖区余杭塘路866号(72)发明人段桂芳张卫国刘振宇谭健荣(74)专利代理机构杭州求是专利事务所有限公司33200代理人林超(51)Int.Cl.G06T7/80(2017.01)G06T3/40(2006.01)G06T7/00(2017.01)G06N3/04(2006.01)权利要求书3页说明书9页附图1页(54)发明名称一种基于图像超分辨率重建的圆孔位姿视觉检测方法(57)摘要本发明公开了一种基于图像超分辨率重建的圆孔位姿双目视觉检测方法。将圆孔类零件放在左右摄像机的公共视野内，通过左右摄像机对圆孔类零件进行拍照分别获得左右图像的两幅图像，对两幅图像进行畸变矫正处理；对畸变矫正后的左右图像分别进行面向边缘增强的超分辨率重建获得高分辨率图像；对重建后的高分辨率图像处理获得各自的圆孔轮廓；利用左右图像的圆孔轮廓处理获得圆孔位姿，即圆孔圆心的坐标以及圆孔所在平面的法向量指向。本发明方法，可有效解决圆孔位姿视觉检测过程中成像分辨率不足的问题，提高检测精度，结果可靠，避免了提升硬件性能，降低成本。CN110390696ACN110390696A权利要求书1/3页1.一种基于图像超分辨率重建的圆孔位姿视觉检测方法，其特征在于包括以下步骤：步骤1)两个光轴相互平行的相机间隔放置于同一水平面，对两个相机分别进行标定，将待测的圆孔类零件放在双目相机的公共视野范围内，左、右相机同时对圆孔类零件进行拍摄并处理获得左图像和右图像；步骤2)建立边缘增强超分辨率重建模型，将左图像和右图像输入边缘增强超分辨率重建模型中，分别得到高分辨率左图像和高分辨率右图像；步骤3)对高分辨率左、右图像分别进行处理获得各自图像中的圆孔轮廓参数；步骤4)建立超分辨率虚拟像面，根据高分辨率左、右图像的圆孔轮廓参数在超分辨率虚拟像面进行圆孔轮廓处理从而获得圆孔类零件中圆孔的位姿，包括圆孔圆心的坐标以及圆孔所在平面的法向量指向。2.根据权利要求1所述的一种基于图像超分辨率重建的圆孔位姿视觉检测方法，其特征在于：左相机和右相机的处理是指左、右相机分别利用各自标定得到的径向畸变参数对图像进行相机畸变矫正处理，从而获得左图像和右图像。3.根据权利要求1所述的一种基于图像超分辨率重建的圆孔位姿视觉检测方法，其特征在于：所述步骤2)的边缘增强超分辨率重建模型具体是基于并改进深度递归残差超分辨模型获得的：深度递归残差超分辨模型基于ResNet构建，是包含一个递归模块和25个残差单元的网络结构，其中每个残差单元模块都共同拥有一个相同的输入，即递归块中卷积层的输出分别作为每个残差单元的输入，每个残差单元都包括两个连接的卷积层；将深度递归残差超分辨模型中所用到的L2(SquaredL2Norm)损失函数替换为面向边缘增强的ContexualLoss特征分布损失函数，同时简化残差单元，将批量规范化操作(BatchNormalization)删除，从而获得边缘增强超分辨率重建模型；再建立工业零件样本库作为训练集对改进后的边缘增强超分辨率重建模型训练，得到适用于工业圆孔类零件图像的边缘增强超分辨率重建模型。4.根据权利要求1所述的一种基于图像超分辨率重建的圆孔位姿视觉检测方法，其特征在于：所述步骤3)中对高分辨率左图像和高分辨率右图像的处理方法相同，单张高分辨率图像(高分辨率左图像或高分辨率右图像)的处理具体为：3.1)建立图像平面的像素坐标系，采用基于相位一致性的边缘提取方法对圆孔类零件的圆孔进行边缘像素点的提取，获得圆孔在像素坐标系下的边缘像素点信息，每个边缘像素点信息包括像素点坐标(xi,yi)和梯度τi；3.2)根据所有边缘像素点的梯度信息对边缘像素点聚类，获得梯度大于零τi>0和梯度小于零τi＜0的两组边缘像素点的集合，对同组集合中的每个边缘像素点采用八邻域边缘跟踪方法进行边缘像素点的连接，从而获得多个椭圆弧段，两组集合则获得两类椭圆弧段；3.3)具体是以椭圆弧段围成的中心区域为中心将各个椭圆弧段依次划分至四个象限中，获得四组椭圆弧段集合；3.4)在四组椭圆弧段集合中任选三个属于不同象限的椭圆弧段作为一个拟合样本进行椭圆的拟合，计算每个拟合样本的圆孔轮廓参数，再对拟合样本进行筛选得到目标样本，将目标样本对应的圆孔轮廓参数作为最终确定的圆孔轮廓参数，圆孔轮廓参数包括在目标椭圆的中心坐标、长半轴、短半轴以及目标椭圆的长轴相对于像素坐标系x轴的倾斜角度2CN110390696A权利要求书2/3页(基准弦是以弧度制为单位计算)。5.根