一种基于RGB-D图像的室内场景三维重建方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN109658449A(43)申请公布日2019.04.19(21)申请号201811466786.0G06K9/46(2006.01)(22)申请日2018.12.03G06K9/34(2006.01)(71)申请人华中科技大学地址430074湖北省武汉市洪山区珞喻路1037号(72)发明人郭红星卢涛汤俊良熊豆孙伟平夏涛范晔斌(74)专利代理机构华中科技大学专利中心42201代理人李智曹葆青(51)Int.Cl.G06T7/50(2017.01)G06T7/70(2017.01)G06T17/00(2006.01)G06K9/62(2006.01)权利要求书2页说明书8页附图2页(54)发明名称一种基于RGB-D图像的室内场景三维重建方法(57)摘要本发明公开了一种基于RGB-D图像的室内场景三维重建方法，利用语义分割结果修复深度图像空洞，为三维重建提供物体轮廓与类别信息，根据先验知识获取到物体的形状和外观，从而为三维重建提供更加精确的数据。三维重建为语义分割提供三维空间信息，解决二维图像分割中存在的物体交叠、受光照影响等导致的误分割。使用多层次的相机位姿估计，稀疏的特征匹配提供粗略的估计位姿，再通过密集的几何、光度优化方法，得到精确相机位姿，为重建模型提供更加精确的相机位姿。在重建过程中，对每帧进行局部优化，同时加入关键帧机制，建立全局优化与闭环检测，将关键帧像素对应的空间点建立约束，有效抑制误差累积，进一步优化相机位姿，提高重建结果的精度。CN109658449ACN109658449A权利要求书1/2页1.一种基于RGB-D图像的室内场景三维重建方法，其特征在于，该方法包括以下步骤：S1.连续采集室内场景的D图像和RGB图像，同时选取关键帧，建立关键帧数据库；S2.对当前帧RGB图像进行语义分割，得到当前帧语义分割结果和当前帧像素分类结果；S3.利用所述当前帧语义分割结果，修复当前帧D图像的空洞，得到当前帧修复后D图像；S4.根据当前帧修复后D图像，计算当前帧相机位姿，根据当前帧相机位姿，将当前帧三维点云融合到已重建好的三维点云中；S5.根据当前帧相机位姿，将重建后的三维点云反投影为当前帧RGB-D图像，执行相机位姿的局部优化，根据优化后位姿对三维点云进行更新，并将当前帧与关键帧数据库中关键帧进行匹配，若匹配成功，则进入步骤S6，否则，进入步骤S7；S6.对当前帧进行闭环检测，闭环检测成功时，更新相机位姿，根据更新的相机位姿对三维点云进行更新；S7.确立当前帧是否为关键帧，如果是，确定为关键帧，加入关键帧数据库，进入步骤S8，否则，直接进入步骤S9；S8.基于关键帧执行相机位姿的全局优化，根据优化后位姿对三维点云进行更新；S9.将所述当前帧像素分类结果融合到更新后的三维点云中，得到重建后的室内场景。2.如权利要求1所述的室内场景三维重建方法，其特征在于，关键帧的选取方式为：当图像帧与上一关键帧视差大于阈值并且匹配点数少于设定数量时，将其确立为关键帧。3.如权利要求1所述的室内场景三维重建方法，其特征在于，基于CNN和CRF进行语义分割。4.如权利要求1所述的室内场景三维重建方法，其特征在于，步骤S3具体包括以下子步骤：S301.根据语义分割结果获取物体类别与物体轮廓；S302.利用物体类别与物体轮廓信息，提取D图像空洞对应物体区域；S303.平面拟合D图像空洞对应物体表面；S304.重投影填充空洞区域。5.如权利要求1所述的室内场景三维重建方法，其特征在于，步骤S4具体包括以下子步骤：S401.根据修复后D图像，利用稀疏特征点匹配得到粗略的相机位姿；S402.在所述粗略的相机位姿基础上，通过几何误差与光度误差最小化，得到精确的相机位姿；S403.将当前帧三维点云融合到已重建好的三维点云中。6.如权利要求1所述的室内场景三维重建方法，其特征在于，闭环检测时，当前图像帧与历史图像帧的相似度如果达到相似度阈值，则可认为产生回环。7.如权利要求6所述的室内场景三维重建方法，其特征在于，二进制编码块之间的相似度由汉明距离决定，相似度计算公式如下：2CN109658449A权利要求书2/2页将两幅图像A和B所有对应二进制编码块的相似度值累加就可以得到图像的相似度，计算公式如下：其中，表示图像A中第k个二进制码块，表示图像B中第k个二进制码块，m表示二进制码块的个数。8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的室内场景三维重建方法。3CN109658449A说明书1/8页一种基于RGB-D图像的室内场景三维重建方法技术领域[0001]本发明属于计算机视觉技术领域