一种基于单目相机进行稠密建图的方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113706596A(43)申请公布日2021.11.26(21)申请号202110970559.7(22)申请日2021.08.23(71)申请人河海大学地址210000江苏省南京市鼓楼区西康路1号(72)发明人戴宇晗牛潞东余彰恒(74)专利代理机构南京千语知识产权代理事务所(普通合伙)32394代理人尚于杰祁文彦(51)Int.Cl.G06T7/55(2017.01)G06T7/73(2017.01)权利要求书2页说明书5页附图1页(54)发明名称一种基于单目相机进行稠密建图的方法(57)摘要本发明公开了一种基于单目相机进行稠密建图的方法，包括：将单目相机拍摄下的一段视频，以灰度图的形式读取每一帧图像，对参考帧进行梯度和深度剔除；用极线搜索方法查找当前帧上每个像素块与参考帧上余下像素块对应的位置，本发明用单目相机拍摄的视频，先以第一帧为参考帧，每次通过传感器读取当前相机的位姿，求出参考帧每个像素在当前帧对应的位置，通过三角化求出当前帧像素块与参考帧对应像素块所指向的空间点的深度，再以第二帧为参考帧，重复操作，直到得到单目相机拍摄视频中每一帧上用于稠密建图的像素块的空间位置，从而实现稠密建图，具有成本低、效率高、准确度高等优点。CN113706596ACN113706596A权利要求书1/2页1.一种基于单目相机进行稠密建图的方法，其特征在于，包括：第一步，将单目相机拍摄下的一段视频，以灰度图的形式读取第一帧图像，先以第一帧为参考帧，初始化深度滤波器的深度均值和深度方差；第二步，梯度剔除；以灰度图的形式读取第二帧图像，遍历参考帧上的每个像素块，计算每个像素块的灰度梯度，如果某个像素块的梯度的2范数小于设定的阈值，则剔除该像素块；第三步，深度剔除；遍历参考帧上经梯度剔除余下的其他像素块，读取深度滤波器存储的每个像素块的深度方差值，如果某个像素块的深度方差小于设定的最小方差或大于设定的最大方差，说明该像素块的深度已收敛或发散，则剔除该像素块；第四步，遍历第二帧图像上的像素块，用极线搜索方法查找每个像素块与所述参考帧上经第二、第三步剔除后余下像素块对应的位置；如果查找到参考帧上某个像素块在当前第二帧对应的位置，则通过三角化方法求出参考帧上该像素块的深度均值和深度方差，并将该深度均值和深度方差存入深度滤波器中，用于更新深度滤波器，对查找到的参考帧与当前第二帧有对应位置的所有像素块重复该步骤，直到每个像素块的深度都收敛；通过传感器得到当前相机在世界坐标系的位姿TWC，通过该位姿TWC的逆乘上参考帧在世界坐标系的位姿TWR，得到参考帧到当前第二帧的位姿TCR；第五步，以灰度图的形式读取第三帧图像，遍历参考帧上经梯度剔除余下的其他像素块，读取深度滤波器存储的每个像素块的深度方差值，如果某个像素块的深度方差小于设定的最小方差或大于设定的最大方差，说明该像素块的深度已收敛或发散，则剔除该像素块；第六步，遍历第三帧图像上的像素块，以第四步所述方法得到第三帧与参考帧对应的所有像素块，得到参考帧到当前第三帧的位姿TCR；重复第五和第六步，遍历第四帧及之后的每一帧，直到查找得到单目相机拍摄视频中每一帧与该参考帧对应的所有像素块，通过三角化方法求出该参考帧上这些像素块的深度；再以第二帧为参考帧，重复上述步骤，遍历第三帧及之后的每一帧，直到查找得到单目相机拍摄视频中每一帧与该参考帧对应的所有像素块，通过三角化方法求出该参考帧上这些像素块的深度；重复上述步骤，得到单目相机拍摄视频中每一帧上用于稠密建图的像素块的空间位置。2.根据权利要求1所述的一种基于单目相机进行稠密建图的方法，其特征在于，第四步中极线搜索方法为：假设第一帧像素块x对应第二帧像素块y，将第一帧像素块x的像素坐标转化成归一化坐标，乘上深度均值，再左乘位姿TCR，转换回像素坐标，得到深度均值点在当前帧的像素位置；将深度均值取倒数，加减三倍的深度标准差得出需要搜索的深度的最小值和最大值的倒数，获得深度最值，将第一帧该像素块的像素坐标转化为归一化坐标，乘上深度最值，再左乘位姿TCR，转换回像素坐标，得到深度最值点在当前帧的像素位置。3.根据权利要求2所述的一种基于单目相机进行稠密建图的方法，其特征在于，沿着极线以一定步长遍历像素块，求出当前帧与参考帧上两个像素块之间的去均值NCC，如果分数大于阈值，则这两个像素块匹配对应，反之说明在当前帧上找不到与参考帧匹配的像素块，2CN113706596A权利要求书2/2页即匹配失败。4.根据权利要求3所述的一种基于单目相机进行稠密建图的方法，其特征在于，将参考帧的像素坐标转成归一化坐标，乘上当前的深度，左乘位姿，再转化成当前帧的像素坐标；对于像素块中的每个像素，累加它们的灰度值，最