一种基于深度信息的图像渲染方法及装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN116012449A(43)申请公布日2023.04.25(21)申请号202310052553.0(22)申请日2023.02.02(71)申请人北京数原数字化城市研究中心地址100084北京市海淀区成府路150号智源大厦6层西侧房屋(72)发明人于金波刘祥德赵飞飞周嵘年晓玲(74)专利代理机构北京集佳知识产权代理有限公司11227专利代理师杨傥月(51)Int.Cl.G06T7/73(2017.01)G06T15/20(2011.01)G06V10/774(2022.01)G06V10/82(2022.01)权利要求书2页说明书8页附图2页(54)发明名称一种基于深度信息的图像渲染方法及装置(57)摘要一种基于深度信息的图像渲染方法及装置，涉及计算机图形学技术领域。该方法包括：获取室内场景图像序列；基于室内场景图像序列，获取室内场景中场景3D点的位置信息；基于场景3D点的位置信息，设置高斯分布的采样点；基于采样点训练全连接网络；基于全连接网络使用体渲染方法进行渲染，以得到室内场景的新视角图像。由此，使用结合深度信息的神经辐射场，优化体渲染的射线采样方法，能够大幅度减少图像的数量，并提高了三维场景的图像渲染质量。CN116012449ACN116012449A权利要求书1/2页1.一种基于深度信息的图像渲染方法，其特征在于，所述方法包括：获取室内场景图像序列；基于所述室内场景图像序列，获取室内场景中场景3D点的位置信息；基于所述场景3D点的位置信息，设置高斯分布的采样点；基于所述采样点，训练全连接网络；基于所述全连接网络使用体渲染方法进行渲染，以得到所述室内场景的新视角图像。2.根据权利要求1所述的方法，其特征在于，所述基于所述室内场景图像序列，获取室内场景中场景3D点的位置信息，包括：基于所述室内场景图像序列，通过运动结构恢复方法生成稀疏深度图序列；将所述室内场景图像序列和所述稀疏深度图序列输入至深度图生成网络，以生成稠密深度图，所述稠密深度图中包含室内场景中场景3D点的位置信息。3.根据权利要求1所述的方法，其特征在于，所述高斯分布的公式具体如下：2其中，ti为所述采样点，μ为所述场景3D点的深度值，σ为经验值。4.根据权利要求1所述的方法，其特征在于，在基于所述采样点，训练全连接网络之后，所述方法还包括：获取任一场景3D点对应的采样点和整体采样点的深度比例偏差值，所述整体采样点是所述任一场景3D点和所述任一场景3D点的临近场景3D点整体对应的采样点；若所述深度比例偏差值大于预设阈值，则去除所述任一场景3D点对应的采样点。5.根据权利要求1所述的方法，其特征在于，在所述基于所述采样点，训练全连接网络之后，所述方法还包括：基于平方误差公式，优化所述全连接网络，所述平方误差方法的公式具体如下：其中，R为射线的集合，为渲染像素颜色，C(r)为真实像素颜色。6.一种基于深度信息的图像渲染装置，其特征在于，所述装置包括：序列模块、位置模块、设置模块、训练模块、渲染模块；所述序列模块，用于获取室内场景图像序列；所述位置模块，用于基于所述室内场景图像序列，获取室内场景中场景3D点的位置信息；所述设置模块，用于基于所述场景3D点的位置信息，设置高斯分布的采样点；所述训练模块，用于基于所述采样点，训练全连接网络；所述渲染模块，用于基于所述全连接网络使用体渲染方法进行渲染，以得到所述室内场景的新视角图像。7.根据权利要求6所述的装置，其特征在于，所述位置模块，具体包括：第一生成模块、第二生成模块；所述第一生成模块，用于基于所述室内场景图像序列，通过运动结构恢复方法生成稀2CN116012449A权利要求书2/2页疏深度图序列；所述第二生成模块，用于将所述室内场景图像序列和所述稀疏深度图序列输入至深度图生成网络，以生成稠密深度图，所述稠密深度图中包含室内场景中场景3D点的位置信息。8.根据权利要求6所述的装置，其特征在于，所述高斯分布的公式具体如下：2其中，ti为所述采样点，μ为所述场景3D点的深度值，σ为经验值。9.根据权利要求6所述的装置，其特征在于，所述装置还包括：偏差值模块、去除模块；所述偏差值模块，用于获取任一场景3D点对应的采样点和整体采样点的深度比例偏差值，所述整体采样点是所述任一场景3D点和所述任一场景3D点的临近场景3D点整体对应的采样点；所述去除模块，用于若所述深度比例偏差值大于预设阈值，则去除所述任一场景3D点对应的采样点。10.根据权利要求6所述的装置，其特征在于，所述装置还包括：优化模块；所述优化模块，用于基于平方误差公式，优化所述全连接网络，所述平方误差方法的公式具体如下：其中，R为射线的集合，为渲染像素颜色。C(r)为真实像素颜色。3CN116012