基于单幅RGB图像的室内场景三维重建方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111414923A(43)申请公布日2020.07.14(21)申请号202010147114.4(22)申请日2020.03.05(71)申请人南昌航空大学地址330063江西省南昌市红谷滩区丰和南大道696号(72)发明人孙克强缪君江瑞祥姚辉黄仕中(74)专利代理机构北京高沃律师事务所11569代理人杨媛媛(51)Int.Cl.G06K9/46(2006.01)G06K9/62(2006.01)G06T17/00(2006.01)G06N3/04(2006.01)权利要求书3页说明书10页附图3页(54)发明名称基于单幅RGB图像的室内场景三维重建方法及系统(57)摘要本发明涉及一种基于单幅RGB图像的室内场景三维重建方法及系统。所述重建方法包括：获取室内场景ScanNet数据集，并对所述ScanNet数据集进行划分，确定训练集以及测试集；利用随机样本一致性RANSAC算法，从所述训练集中重复提取平面，确定室内场景待重建平面；利用局部特征提取分支提取所述室内场景待重建平面的局部特征；所述局部特征提取分支用于提取局部特征；根据所述局部特征以及扩张残差DRN网络确定全局特征；根据所述局部特征以及所述全局特征构建基于单幅RGB图像的室内场景三维重建网络模型；根据所述室内场景三维重建网络模型重建所述单幅RGB图像的室内场景。采用本发明的重建方法及系统能够提高深度图预测精度、图像边缘重建效果以及室内场景重建精度。CN111414923ACN111414923A权利要求书1/3页1.一种基于单幅RGB图像的室内场景三维重建方法，其特征在于，包括：获取室内场景ScanNet数据集，并对所述ScanNet数据集进行划分，确定训练集以及测试集；所述ScanNet数据集包括多张单幅RGB图像；利用随机样本一致性RANSAC算法，从所述训练集中重复提取平面，确定室内场景待重建平面；利用局部特征提取分支提取所述室内场景待重建平面的局部特征；所述局部特征提取分支用于提取局部特征；所述局部特征包括边缘轮廓、角点以及线；根据所述局部特征以及扩张残差DRN网络确定全局特征；所述全局特征包括颜色特征、纹理特征以及形状特征；根据所述局部特征以及所述全局特征构建基于单幅RGB图像的室内场景三维重建网络模型；所述室内场景三维重建网络模型包括平面参数预测分支、边缘像素预测分支以及非平面深度图预测分支；所述平面参数预测分支用于确定所述室内场景待重建平面的平面参数，所述平面参数包括法线以及偏移量；所述边缘像素预测分支用于确定分割掩膜；所述非平面深度图预测分支用于确定深度图；根据所述室内场景三维重建网络模型重建所述单幅RGB图像的室内场景。2.根据权利要求1所述的基于单幅RGB图像的室内场景三维重建方法，其特征在于，所述根据所述局部特征以及扩张残差网络确定全局特征，之后还包括：根据公式融合所述局部特征以及所述全局特征，确定融合后的特征图；其中，Zconcat为融合后的特征图；Xi为全局特征；Yi为局部特征；*为卷积；Ki、Ki+c为卷积核；c为特征通道数；i为正整数。3.根据权利要求2所述的基于单幅RGB图像的室内场景三维重建方法，其特征在于，所述根据所述局部特征以及所述全局特征构建基于单幅RGB图像的室内场景三维重建网络模型，具体包括：在平面参数预测分支中，利用全局平均池化，将所述融合后的特征图变换成尺寸为1x1的特征图；将所述尺寸为1x1的特征图通过所述DRN网络的全连接层，生成尺寸为Kx3的特征图的平面参数；K为预测的平面数量。4.根据权利要求3所述的基于单幅RGB图像的室内场景三维重建方法，其特征在于，所述根据所述局部特征以及所述全局特征构建基于单幅RGB图像的室内场景三维重建网络模型，具体包括：在边缘像素预测分支中，通过金字塔池化模块对所述融合后的特征图进行下采样，确定低于尺寸阈值的融合特征图；将所述低于尺寸阈值的融合特征图输入到所述DRN网络的卷积层中，利用所述DRN网络的卷积层生成表示平面和非平面的K+1通道的极大似然图；利用条件随机场对所述极大似然图进行处理，生成分割掩模。5.根据权利要求4所述的基于单幅RGB图像的室内场景三维重建方法，其特征在于，所述根据所述局部特征以及所述全局特征构建基于单幅RGB图像的室内场景三维重建网络模2CN111414923A权利要求书2/3页型，具体包括：在非平面深度图预测分支中，所述非平面预测分支和所述边缘像素预测分支共同使用同一个金字塔池化模块，并将所述低于尺寸阈值的融合特征图输入到所述DRN网络的卷积层生成1通道的深度图。6.一种基于单幅RGB图像的室内场景三维重建系统，其特征在于，包括：ScanNet数据集获取模块，用于获取室内场景Sc