实时三维场景重建方法及装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115035240A(43)申请公布日2022.09.09(21)申请号202210524657.2(22)申请日2022.05.13(71)申请人清华大学地址100084北京市海淀区清华园1号(72)发明人季向阳张晨阳光娄志强(74)专利代理机构北京清亦华知识产权代理事务所(普通合伙)11201专利代理师黄德海(51)Int.Cl.G06T17/00(2006.01)G06T7/73(2017.01)G06T7/80(2017.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书12页附图4页(54)发明名称实时三维场景重建方法及装置(57)摘要本申请公开了一种实时三维场景重建方法及装置，其中，方法包括：获取单目相机的相机内参；提取单目相机的目标图片的实际相机位姿和由稀疏深度先验得到的稀疏深度点；以及利用预设三维场景重建网络，基于由相机内参、实际相机位姿和稀疏深度点得到的融合时空信息生成三维场景重建结果。由此，解决了相关技术中忽视粗略稀疏特征点的深度估计数据，对空间信息的利用不完善，导致三维重建结果连续性、准确性较差，且实用性较差的技术问题。CN115035240ACN115035240A权利要求书1/2页1.一种实时三维场景重建方法，其特征在于，包括以下步骤：获取单目相机的相机内参；提取所述单目相机的目标图片的实际相机位姿和由稀疏深度先验得到的稀疏深度点；以及利用预设三维场景重建网络，基于由所述相机内参、所述实际相机位姿和所述稀疏深度点得到的融合时空信息生成三维场景重建结果。2.根据权利要求1所述的方法，其特征在于，所述利用预设三维场景重建网络，基于由所述相机内参、所述实际相机位姿和所述稀疏深度点得到的融合时空信息生成三维场景重建结果，包括：分别提取所述实际相机位姿和所述稀疏深度点的二维特征，并分别反投影为对应的初始局部三维特征体素；从所述稀疏深度点提取空间信息，并融合所述空间信息和帧间时序特征联系，得到局部融合三维特征体素；将所述局部融合三维特征体素融合至全局，得到最终的全局融合三维特征体素；基于所述最终的全局融合三维特征体素利用预设MLP网络得到所述三维场景重建结果。3.根据权利要求2所述的方法，其特征在于，分别提取所述实际相机位姿和所述稀疏深度点的二维特征之前，还包括：计算所述稀疏深度点的归一化置信度；将所述稀疏深度点和所述归一化置信度投影成对应的稀疏深度图及置信度；由所述稀疏深度图及置信度得到所述稀疏深度先验。4.根据权利要求2或3所述的方法，其特征在于，所述局部融合三维特征体素为：其中，为片段特征体素，F代表本申请实施例为将片段特征体素进行融合的过程，为得到的局部融合三维特征体素。5.根据权利要求2所述的方法，其特征在于，所述基于所述最终全局融合三维特征体素利用预设MLP网络得到所述三维场景重建结果，包括：基于所述最终全局融合三维特征体素，利用所述预设MLP网络中级联的两个MLP层得到估计的占用度栅格和场景TSDF体素；根据所述占用度栅格和场景TSDF体素生成所述三维场景重建结果。6.一种实时三维场景重建装置，其特征在于，包括：获取模块，用于获取单目相机的相机内参；提取模块，用于提取所述单目相机的目标图片的实际相机位姿和由稀疏深度先验得到的稀疏深度点；以及重建模块，用于利用预设三维场景重建网络，基于由所述相机内参、所述实际相机位姿和所述稀疏深度点得到的融合时空信息生成三维场景重建结果。7.根据权利要求6所述的装置，其特征在于，所述重建模块包括：2CN115035240A权利要求书2/2页提取单元，用于分别提取所述实际相机位姿和所述稀疏深度点的二维特征，并分别反投影为对应的初始局部三维特征体素；第一融合单元，用于从所述稀疏深度点提取空间信息，并融合所述空间信息和帧间时序特征联系，得到局部融合三维特征体素；第二融合单元，用于将所述局部融合三维特征体素融合至全局，得到最终的全局融合三维特征体素；重建单元，用于基于所述最终的全局融合三维特征体素利用预设MLP网络得到所述三维场景重建结果。8.根据权利要求7所述的装置，其特征在于，所述重建模块还包括：第一计算单元，用于计算所述稀疏深度点的归一化置信度；投影单元，用于将所述稀疏深度点和所述归一化置信度投影成对应的稀疏深度图及置信度；第二计算单元，用于由所述稀疏深度图及置信度得到稀疏深度先验。9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1‑5任一项所述的实时三维场景重建方法。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利