一种基于视觉slam双目相机的无人车定位系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114153201A(43)申请公布日2022.03.08(21)申请号202111281575.1(22)申请日2021.11.01(71)申请人淮阴工学院地址223005江苏省淮安市洪泽区东七街三号高新技术产业园A12-2（淮阴工学院技术转移中心洪泽分中心）(72)发明人赵志国王瑞魏晓倩毛康康庞敏万小康徐连高张磊孙中(74)专利代理机构淮安市科文知识产权事务所32223代理人邹文玉(51)Int.Cl.G05D1/02(2020.01)G06T7/13(2017.01)权利要求书3页说明书6页附图5页(54)发明名称一种基于视觉slam双目相机的无人车定位系统(57)摘要一种基于视觉slam双目相机的无人车定位系统，包括无人车，无人车的前部安装有双目相机，双目相机与树莓派模块有线连接，树莓派模块通过局域网与上位机连接，并与单片机有线连接；双目相机将实时采集的图像发送至树莓派模块，再由树莓派模块将图像实时的发送至上位机进行图像处理，上位机将图像处理后得到的信息反馈至树莓派模块后，树莓派模块将图像信息发送至单片机，单片机根据图像信息，发送信号至车轮驱动模块，控制车轮的运行方向。本发明通过上位机对双目相机实时采集的图片进行处理，推算出物体到相机之间的距离；并通过对图片中像素关键点的采集，比较计算出相机的运行轨迹；并协助其他系统对小车偏移车道，异常行驶等行为进行报告和预警。CN114153201ACN114153201A权利要求书1/3页1.一种基于视觉slam双目相机的无人车定位系统，包括无人车，无人车的前部安装有双目相机；其特征在于：双目相机通过信号线与树莓派模块连接，树莓派模块通过局域网与上位机连接，同时，树莓派模块通过信号线与单片机连接，单片机与车轮的驱动装置连接；所述的双目相机将实时采集的图像发送至树莓派模块，再由树莓派模块将图像实时的发送至上位机进行图像处理，上位机将图像处理后得到的信息反馈至树莓派模块后，树莓派模块将图像信息发送至单片机，单片机根据图像信息，发送信号至车轮驱动模块，控制车轮的运行方向；上位机对双目相机实时采集的图片进行处理，通过对图片中像素关键点的采集，比较计算出相机的运行轨迹，具体的操作方式如下：步骤1：双目相机在小车运动中连续拍摄图片，并通过树莓派模块将图像上传至上位机的图像处理系统中对图像进行处理；图像处理系统在相机拍摄的图像中选取比较有代表性的特征点；步骤2：在相机少量运动时拍摄的图片中找到相似或相同的特征点；步骤3：将不同图片中寻找到的特征点进行特征匹配；步骤4：通过对迭代最近的特征点进行ICP计算，预测相机的运动轨迹；得到旋转矩阵R和平移矩阵t；步骤5：图像处理系统将结果返回至上位机进行信号处理；步骤6：上位机反馈图像处理的信息给树莓派模块，由树莓派模块反馈给单片机；步骤7：单片机向无人车的驱动系统发送信号，控制无人车的车轮运行。2.根据权利要求1所述的一种基于视觉slam双目相机的无人车定位系统，其特征在于：步骤1所述的选取比较有代表性的特征点时，可以根据ORB特征对FAST关键点的角点进行提取，找出图像中的角点，即一像素与相邻像素差别较大的点；再计算每个关键点的描述子，即将关键点对其相邻的任意一个像素作比较，相邻的像素比关键点大则取1，反之则取0；再将两张图像相似的描述子进行匹配，根据匹配的结果来预测相机的运动。3.根据权利要求1所述的一种基于视觉slam双目相机的无人车定位系统，其特征在于：步骤4所述的通过ICP计算预测相机的运动轨迹时，可以解决估计两组3D点的运动问题；设现在有一组匹配好的3D点P和P’，旋转矩阵为R，平移矩阵为t；采用线性方法进行计算，具体的计算步骤如下：S1：先计算第n点和第n‑1点的误差项；先定义两组点Pn和Pn‑1，并定义这对点的误差e：ei＝pn‑(Rpn‑1+t)；再用下列公式求误差的平方和达到最小的旋转矩阵R和平移矩阵t；即：S2：定义两组点的质心，代入误差函数化简；S3：计算两组点的去质心坐标；S4：代入去质心坐标并优化；S5：用SVD方法计算出旋转矩阵R；S6：根据旋转矩阵R求出平移矩阵t。2CN114153201A权利要求书2/3页4.根据权利要求3所述的一种基于视觉slam双目相机的无人车定位系统，其特征在于：S2所述的定义两组点的质心，代入误差函数化简的具体的操作方式如下：先计算两组点的质心，计算两组点的质心公式为：将两组质心带入误差公式中，将误差公式进行简单的变换；变换公式如下：提取并化简可得：在等式右边中，第一项加数没有平移矩阵t，只有旋转矩阵R，而第二项加数中有旋转矩阵R且有平移矩阵t；但第二项加数中的旋转矩阵R与平移矩阵t只与质心有关，与点位置无关；如此，可