一种基于车载单目聚焦序列图像构建对象三维轮廓的方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110310371A(43)申请公布日2019.10.08(21)申请号201910447327.6(22)申请日2019.05.27(71)申请人太原理工大学地址030024山西省太原市迎泽西大街79号(72)发明人董志国武肖搏刘建成张宇超(74)专利代理机构太原科卫专利事务所(普通合伙)14100代理人朱源曹一杰(51)Int.Cl.G06T17/20(2006.01)G06T7/45(2017.01)G06T7/579(2017.01)G06T7/571(2017.01)权利要求书2页说明书4页附图2页(54)发明名称一种基于车载单目聚焦序列图像构建对象三维轮廓的方法(57)摘要本发明属于车辆工程中的自动驾驶领域和对象识别技术领域，解决了现有智能驾驶领域中实现对象三维重建的耗时、费力、效率低和难以达到高精度的技术问题。通过拍摄单元获取目标物的序列图像，经过处理得到预处理图像序列；提取每一帧预处理序列图像的清晰像素点，计算预处理序列图像每一像素点的聚焦因子，并求取全聚焦图像中所有像素点达到最大聚焦因子时对应的图像序列号，相邻序列图像之间的深度距离Δz可以根据实时车速v与Δt的乘积来计算，将Δz作为对应像素点的深度值，再根据张正友标定法标定的结果计算出像素坐标系与世界坐标系上对应的点的坐标，从而通过二维图像序列进行三维重建，重构出目标物的三维轮廓。CN110310371ACN110310371A权利要求书1/2页1.一种基于车载单目聚焦序列图像构建对象三维轮廓的方法，其特征在于，包括如下步骤：(a)移动载体带动拍摄单元沿目标物延伸方向移动，并每隔Δt时间拍摄一张目标物的图像，从而在一段时间内获取目标物的N帧序列图像；(b)对拍摄单元拍摄得到的全部序列图像进行图像处理，对图像进行裁剪变换，以去除序列图像中目标物测量区域之外的部分非相关背景区域，得到预处理序列图像；(c)提取每一帧预处理序列图像的清晰像素点，以构建全聚焦图像；确定预处理序列图像中的任一像素点的像素点聚焦评价窗口，计算预处理序列图像每一像素点的聚焦因子：对于预处理序列图像中的任一像素点(i，j)，以该像素点为起点，在其上下左右四个邻域生成四个灰度共生矩阵，分别计算求得四个灰度共生矩阵相关性特征值的最大值，以此确定该像素点四个方向的最大相关像素点，并以这四个像素点为其评价窗口的边缘位置确定该像素点聚焦评价窗口U(i，j)，则其聚焦评价窗口宽度尺寸W1＝D1+D2+1，高度尺寸W2＝D3+D4+1，其中D1、D2、D3、D4分别表示四个方向上的最大相关像素点与所计算的任一像素点(i，j)之间间隔的像素个数加1，聚焦评价窗口尺寸为W1×W2；利用聚焦评价窗口计算出每一帧图像中的各像素点的聚焦因子；其中，聚焦因子为对应像素点在聚焦评价窗口中的每个像素点评价值和的平均值；每一帧预处理图像中任意像素点(i，j)的聚焦因子为该像素点在2其评价窗口中的每个像素点评价值和的平均值，如下式所示：Fk(i，j)＝∑(gx(x，y)+gy(x，22y))/(w1×w2)其中，gx(x，y)和gy(x，y)分别表示第k帧预处理序列图像Ik和Sobel算子在X和Y方向的卷积；每帧图像中达到最大聚焦因子的像素点作为该帧图像的清晰像素点；来自所有图像中的清晰像素点构成一副全聚焦图像；(d)求取全聚焦图像中每个像素点对应的图像序列号，根据图像序列号的先后顺序表示目标物表面点的相对位置关系，相邻序列图像之间的深度距离Δz可以根据实时移动载体的速度v与Δt的乘积来计算，进而得知目标物表面所有点的深度关系：求得获取第k副图像时拍摄单元在世界坐标系中的Z向坐标Zk，Zk是从1到k所有的Δz的和，如下所示：记下第k幅图像中每一个清晰像素点在其所在图像的图像坐标系中的像素坐标(ik、jk)；根据像素坐标系到世界坐标系的转换矩阵由所有清晰像素点的像素坐标(ik、jk)得到其对应的世界坐标(Xk，Yk，Zk)；依此方法，得到预处理序列图像中所有图像的清晰像素点在世界坐标系中的坐标集合{(Xk，Yk，Zk)|1≤k≤N}，N为序列图像的总图像数；(e)根据目标物表面点在世界坐标系中的坐标集合{(Xk，Yk，Zk)|1≤k≤N}，将每个点与其周围领域中的点连接构成三角网格，由三角网格组成的面连接形成目标物表面的轮廓图形实现目标物表面在世界坐标系中三维轮廓图形的重构。2.如权利要求1所述的一种基于车载单目聚焦序列图像构建对象三维轮廓的方法，其特征在于，像素坐标系到世界坐标系转换关系采用如下方法得到：步骤一，将拍摄单元固定在移动载体之上；2CN110310371A权利要求书2/2页步骤二，将标定物固定在一个平面上；通过调整标定物或拍摄单元的方向