一种基于双目视觉的深度学习障碍物测距方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN109084724A(43)申请公布日2018.12.25(21)申请号201810737200.3(22)申请日2018.07.06(71)申请人西安理工大学地址710048陕西省西安市金花南路5号(72)发明人胡绍林张嘉旭史浩强(74)专利代理机构西安弘理专利事务所61214代理人谈耀文(51)Int.Cl.G01C3/00(2006.01)G06T7/80(2017.01)权利要求书3页说明书8页附图2页(54)发明名称一种基于双目视觉的深度学习障碍物测距方法(57)摘要本发明公开了一种基于双目视觉的深度学习障碍物测距方法，首先对双目相机进行标定，得到相机模型参数和第一相机与第二相机之间的几何位置关系，接着使用基于深度学习的faster-RCNN网络确定检测目标所在区域，在已知目标在图像上的坐标和双目相机间的相对位置就能确定目标在空间中的三维坐标和距离。利用该方法可以实现车辆倒车过程中车身后方视觉盲区的障碍物检测与距离测量，只需在车身安装双目相机模型，通过深度学习目标检测算法和相机模型检测出环境中障碍物与车辆的距离，该方法快速、有效、安装简便，能够满足车辆盲区实时检测的需求，对驾驶人起到预警作用，保障驾驶人生命及财产安全。CN109084724ACN109084724A权利要求书1/3页1.一种基于双目视觉的深度学习障碍物测距方法，其特征在于，具体操作步骤如下，步骤1：搭建包含双目相机的双目视觉数据采集系统，所述双目相机包包括第一相机和第二相机，所述第一相机和第二相机相对固定在相机支撑架上；步骤2：基于针孔相机原理建立双目相机投影模型，随后对双目相机进行标定，分别求出投影模型内双目相机的内参数矩阵、第一相机与第二相机的相对几何关系；步骤7：将步骤6中两个摄像头的两个二维形心坐标分别代入步骤2得到的双目视觉数据采集系统模型，从而求出障碍物目标在空间中的三维坐标，并通过距离计算公式求出障碍物距离，实现目标的识别与测距。2.根据权利要求1所述的一种基于双目视觉的深度学习障碍物测距方法，其特征在于，步骤2具体为，使用棋盘格标定板标定，计算出双目相机的内参数和两个相机间的相对位置，即可确定双目相机投影模型，建立图像上投影点到三维世界坐标之间的关系，标时使用张正友标定法，首先制作标定平板并将其固定在木板上，再移动标定板，获取不同角度位置的至少3组照片，检测出照片中所有角点，通过求解线性方程组，求得双目相机的内参数与两个相机之间的相对位置；在双目相机投影模型下，三维空间点与二维投影点坐标间的映射关系如公式(5)所示，齐次坐标形式如公式(6)所示，m＝PM(5)0T是0向量，m是空间点M在成像平面上投影的的坐标，P是内参数矩阵，其中，f表示焦距，即图像平面和相机中心间的距离，和dx、dy分别代表x、y轴上的归一化焦距，其中dx、dy是单个像素的物理尺寸，光轴和图像平面的交点c为图像坐标原点，其中c＝[cx，cy]，它们组成的维数为3×3矩阵K称为相机的内参数矩阵，R是照相机方向的旋转矩阵，t是相机中心位置的三维平移向量，R和t共同组成的4×4的矩阵为第一相机和第二相机的镜头间相对几何关系。3.根据权利要求2所述的一种基于双目视觉的深度学习障碍物测距方法，其特征在于，步骤4中目标检测模型由特征提取、候选区域生成，目标位置输出三部分组成，其中特征提取利用卷积层与池化层交替组合而成的VGG卷积神经网络进行，将输入图像组合成更抽象的特征图，随后将特征图输入RPN区域建议网络提取目标的候选区域；再利用ROI池化层将目标候选区域池化到同一个固定的尺度连接全连接层，最后使用softmax回归算法对目标进行分类，并使用多任务损失函数得到目标边界框，网络的输出是一个包含目标类别和位置信息的5维向量。4.根据权利要求3所述的一种基于双目视觉的深度学习障碍物测距方法，其特征在于，步骤5具体为，输入图像经过了特征提取与候选区域选择后，将大小不同的候选区域连接到ROI池化2CN109084724A权利要求书2/3页层，将这些候选区域的特征图转化为固定的尺寸大小，最后将固定大小的卷积特征图连接到全连接层，模型使用的多任务损失函数如公式(1)所示，其中，其中，式(1)中，Pi是目标预测概率，如果区域内包含目标pi*为1，否则为0；ti是预测的边界框坐标，是边界框真实值；Ncls和Nreg分别是分类项和回归项的归一化参数，λ是平衡权重，Lcls是分类的交叉熵损失，Lreg是回归损失，其中R是鲁棒损失函数；在训练过程中，随着多任务损失函数迭代次数的增加，初始的学习率逐渐衰减，目标检测模型首先将训练集图片大小统一，再使用RMSProp算法迭代N次，直到多任务损失函数达到最小，使得不同远近、角度的