一种基于图像与点云数据融合的三维重建方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115409931A(43)申请公布日2022.11.29(21)申请号202211342750.8G06T7/73(2017.01)(22)申请日2022.10.31G06T7/33(2017.01)(71)申请人苏州立创致恒电子科技有限公司地址215000江苏省苏州市工业园区金鸡湖大道1355号国际科技园A503(72)发明人李骏李想杨苏周方明(74)专利代理机构北京弘权知识产权代理有限公司11363专利代理师逯长明朱炎(51)Int.Cl.G06T15/00(2011.01)G06T15/20(2011.01)G06T17/00(2006.01)G06T19/20(2011.01)G06V10/80(2022.01)权利要求书3页说明书11页附图2页(54)发明名称一种基于图像与点云数据融合的三维重建方法(57)摘要本申请提供一种基于图像与点云数据融合的三维重建方法，涉及计算机视觉和计算机图形学领域。所述三维重建方法通过点云配准和融合，得到被测对象的全景点云；再根据对应的图像数据进行显著性特征提取和多尺度聚合特征提取，得到全景点云中每个点的显著性特征向量和多尺度聚合特征向量，利用神经辐射场进行基于点的体渲染，得到具有接近真实的色彩和纹理信息的三维模型。CN115409931ACN115409931A权利要求书1/3页1.一种基于图像与点云数据融合的三维重建方法，其特征在于，包括：获取被测对象的点云序列以及图像序列，其中，所述被测对象的点云序列包括所述被测对象的多个依次相邻的点云数据，且所述点云序列覆盖所述被测对象的全景区域；所述图像序列包括多个图像数据，所述图像数据分别与所述点云数据一一对应；对所述点云序列中的多个所述点云数据进行配准和融合处理，得到所述被测对象的全景点云；对所述图像序列中的多个所述图像数据分别进行显著性特征提取和多尺度聚合特征描述，得到所述全景点云中每个点对应的显著性特征向量和多尺度聚合特征向量；根据目标点的位置信息、待观察点的位置信息和目标点的多尺度聚合特征向量，使用第一全连接网络进行计算，得到所述目标点相对于所述待观察点的观察特征向量，其中，所述目标点为所述全景点云中除所述待观察点之外的任意一个点；根据距离所述待观察点最近的k个点的相对于所述待观察点的观察特征向量、以及显著性特征向量进行聚合计算，得到所述待观察点的外观描述向量；将所述目标点相对于所述待观察点的观察特征向量，使用第二全连接网络进行计算，得到所述目标点相对于所述待观察点的观察密度向量；根据距离所述待观察点最近的k个点的相对于所述待观察点的观察密度向量、以及显著性特征向量进行聚合计算，得到所述待观察点的体密度信息；根据观察采样点的位置信息、所述待观察点的位置信息进行位置编码计算，得到所述待观察点相对于所述观察采样点的高维位置向量；根据所述待观察点的高维位置向量和所述待观察点的外观描述向量，使用第三全连接网络进行计算，得到所述待观察点相对于所述观察采样点的辐射信息。2.根据权利要求1所述的三维重建方法，其特征在于，根据目标点的位置信息、待观察点的位置信息和目标点的多尺度聚合特征向量，使用第一全连接网络进行计算，得到所述目标点相对于所述待观察点的观察特征向量，包括：使用所述待观察点的位置信息减去所述目标点的位置信息，得到所述目标点相对于所述待观察点的相对位置信息；将所述目标点相对于所述待观察点的相对位置信息与所述目标点的多尺度聚合特征向量进行拼接，得到拼接后的多尺度聚合特征向量；使用所述第一全连接网络对所述拼接后的多尺度聚合特征向量进行计算，得到所述目标点相对于所述待观察点的观察特征向量。3.根据权利要求1所述的三维重建方法，其特征在于，按照如下公式进行聚合计算，得到所述待观察点的外观描述向量：其中，fx表示所述待观察点的外观描述向量，，i表示第i个目标点，Ai表示第i个目标点对应的显著性特征向量，，其中，为第i个目标点的位置信息，x为所述待观察点的位置信息，表示第i个所述目标点相对于所述待观察点的观察特2CN115409931A权利要求书2/3页征向量；按照如下公式进行聚合计算，得到所述待观察点的体密度信息：其中，表示所述待观察点的体密度信息，表示第i个所述目标点相对于所述待观察点的观察密度向量。4.根据权利要求1所述的三维重建方法，其特征在于，根据观察采样点的位置信息、所述待观察点的位置信息进行位置编码计算，得到所述待观察点相对于所述观察采样点的高维位置向量，包括：使用所述观察采样点的位置信息减去所述待观察点的位置信息，得到所述待观察点相对于所述观察采样点的相对位置信息；将所述待观察点相对于所述观察采样点的相对位置信息映射到32维空间中，得到所述待观察点相对于所述观察采样点的