一种基于行人跟踪的实时高精度双目测距系统及方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110766740A(43)申请公布日2020.02.07(21)申请号201911051287.X(22)申请日2019.10.31(71)申请人西安咏圣达电子科技有限公司地址710000陕西省西安市高新区丈八街办锦业路69号创业研发园C区1号瞪羚谷A302室(72)发明人高圣哲赵恒星(51)Int.Cl.G06T7/55(2017.01)G06T7/80(2017.01)G06T7/292(2017.01)G06K9/62(2006.01)权利要求书2页说明书4页附图2页(54)发明名称一种基于行人跟踪的实时高精度双目测距系统及方法(57)摘要本发明属于测距装置技术领域，公开了一种基于行人跟踪的实时高精度双目测距系统及方法，预测单元，保存行人上一帧的目标区域，作为下一帧SGBM算法的预计算区域；SGBM计算单元，用SGBM算法计算上一帧预测的区域的视差矩阵；BM计算单元，用BM算法计算全图的视差矩阵；逻辑判断单元，对于采用SGBM还是BM的结果进行判断。并且对兴趣点列表中的所有距离值做平均。本发明通过对跟踪区域的预测，加上对BM和SGBM进行结构性的融合，只对行人部分进行深度值的计算，使得可以满足嵌入式的实时性要求，同时保留高精度的特性。对于少数未命中的情况，直接采用已经并行计算完成的BM算法的结果，完全避免了重复性计算。CN110766740ACN110766740A权利要求书1/2页1.一种基于行人跟踪的实时高精度双目测距方法，其特征在于，所述基于行人跟踪的实时高精度双目测距方法根据行人上一帧目标点或目标区域，预估出实时帧需要计算视差的图像区域；如果当前帧要计算距离的点在预估的区域内，则采用SGBM算法计算出的该区域的视差矩阵；否则采用BM算法计算出的视差矩阵；得到视差矩阵后，只计算目标点的深度值，不需要对原图像上的每一个点进行计算得到深度图；通过已计算的图像区域可以得到在此区域对应原图像区域的位置，算出区域内的任何一点的深度值。2.如权利要求1所述的基于行人跟踪的实时高精度双目测距方法，其特征在于，所述基于行人跟踪的实时高精度双目测距方法包括以下步骤:第一步，保存行人上一帧的目标区域，作为下一帧SGBM算法的预计算区域；第二步，SGBM算法计算上一帧预测的区域的视差矩阵；第三步，BM算法计算全图的视差矩阵；第四步，通过行人的跟踪算法获取当前帧的行人位置，算出相应的兴趣区域列表；然后遍历兴趣区域列表，如果兴趣点在上一帧的预测区域内，则直接采用SGBM算法的视差值计算距离，否则采用BM算法的视差值计算距离；最后将兴趣区域列表中的所有距离取平均作为最终的距离。3.如权利要求2所述的基于行人跟踪的实时高精度双目测距方法，其特征在于，所述BM算法是全图计算视差矩阵，在获取图像之后，单独开辟新的线程进行计算。4.如权利要求2所述的基于行人跟踪的实时高精度双目测距方法，其特征在于，所述SGBM算法只计算上一帧预测的区域内的视差矩阵，在获取图像之后，也是立即单独开辟新的线程进行计算；另外主线程首先通过行人的跟踪算法获取当前帧的行人位置，算出相应的兴趣区域列表；然后遍历兴趣区域列表，如果兴趣点在上一帧的预测区域内，则直接采用SGBM算法的视差值计算距离，否则采用BM算法的视差值计算距离；最后将兴趣区域列表中的所有距离取平均作为最终的距离。5.如权利要求2所述的基于行人跟踪的实时高精度双目测距方法，其特征在于，所述第二步SGBM算法计算上一帧预测的区域的视差矩阵，双目相机通过前期的标定，得到相机的内参，焦距f和成像原点cx,cy、畸变参数，以及两个摄像头之间的相对位置，右摄像头相对于左摄像头的旋转矩阵R、平移向量t；然后进行双目校正过程，根据摄像头定标后获得的焦距、成像原点、畸变系数和双目相对位置关系，分别对左右视图进行消除畸变和行对准，使得左右视图的成像原点坐标一致；进行双目匹配，把同一场景在左右视图上对应的像点匹配起来，然后计算得到视差图；通过调用相应的函数完成这些计算，对各个参数进行设置，测试，调整，得到参数；采用SGBM算法可以直接利用彩色图进行计算，无需进行对灰度图的转换处理；得到的视差矩阵因为是区域内的，而两图的相应位置关系却是全图的，对视差矩阵进行相应的位置还原，得到原视图的位置后方进行计算。6.如权利要求2所述的基于行人跟踪的实时高精度双目测距方法，其特征在于，所述第三步立体匹配过程中，运用对极几何极大的减小匹配点的搜索范围，以图像灰度信息作为匹配基元的区域匹配方法，获取窗口尺寸和相关灰度的测度函数，对匹配区域的灰度分布进行描述，此时再移动匹配窗口寻找匹配区域，当两窗口所在区域灰度差异最小时，则认为匹配窗口的中心为找到的匹配点；在实际操作中，利