图像渲染模型训练、图像渲染方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113888689A(43)申请公布日2022.01.04(21)申请号202111308327.1(22)申请日2021.11.05(71)申请人上海壁仞智能科技有限公司地址201114上海市闵行区陈行公路2388号16幢13层1302室(72)发明人不公告发明人(74)专利代理机构北京路浩知识产权代理有限公司11002代理人郑朝然(51)Int.Cl.G06T15/08(2011.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书10页附图2页(54)发明名称图像渲染模型训练、图像渲染方法及装置(57)摘要本发明提供一种图像渲染模型训练、图像渲染方法及装置，所述模型训练方法包括：将多角度目标场景图输入至容积渲染模型，得到容积渲染模型输出的容积渲染图像；基于容积渲染图像以及多角度目标场景图，对初始化的具有隐式场景表达能力的神经辐射场进行训练，得到图像渲染模型；其中，容积渲染模型是基于多角度样本场景图训练得到的；容积渲染模型先对多角度目标场景图进行投影重建，得到用于表征目标场景的3D场景密度的显式密度分布矩阵，并基于密度分布矩阵确定投影方向的采样点后，基于各采样点中包含有密度与色值的体素特征生成容积渲染图像。本发明可以快速直接基于显式密度分布矩阵确定采样点，提高了图像渲染模型的训练和推理效率。CN113888689ACN113888689A权利要求书1/2页1.一种图像渲染模型训练方法，其特征在于，包括：确定目标场景的多角度目标场景图；将所述多角度目标场景图输入至容积渲染模型，得到所述容积渲染模型输出的容积渲染图像；基于所述容积渲染图像以及所述多角度目标场景图，对初始化的具有隐式场景表达能力的神经辐射场进行训练，得到图像渲染模型；其中，所述容积渲染模型是基于多角度样本场景图训练得到的；所述容积渲染模型先对所述多角度目标场景图进行投影重建，得到用于表征所述目标场景的3D场景密度的显式密度分布矩阵，并基于所述密度分布矩阵确定投影方向的采样点后，基于各采样点中包含有密度与色值的体素特征生成所述容积渲染图像。2.根据权利要求1所述的图像渲染模型训练方法，其特征在于，所述将所述多角度目标场景图输入至容积渲染模型，得到所述容积渲染模型输出的容积渲染图像，包括：将所述多角度目标场景图输入至所述容积渲染模型的重建层，由所述重建层对所述多角度目标场景图进行投影重建，得到所述重建层输出的所述显式密度分布矩阵；将所述显式密度分布矩阵输入至所述容积渲染模型的采样层，由所述采样层基于所述显式密度分布矩阵确定所述投影方向的采样点，得到所述采样层输出的各采样点的体素特征；将所述各采样点的体素特征输入至所述容积渲染模型的渲染层，由所述渲染层基于所述容积渲染模型的初始参数以及各采样点的体素特征进行容积渲染，得到所述渲染层输出的所述容积渲染图像；所述容积渲染图像与所述多角度目标场景图的角度相同。3.根据权利要求1所述的图像渲染模型训练方法，其特征在于，所述采样点是基于如下步骤确定的：从所述显式密度分布矩阵上读取目标投影线上各体素点的密度分度，所述目标投影线是基于所述目标场景对应的3D场景以及所述投影方向的像素点确定的；基于各体素点的密度分布，确定所述采样点。4.根据权利要求3所述的图像渲染模型训练方法，其特征在于，所述目标投影线是基于如下步骤确定的：对所述3D场景进行归一化处理；从归一化处理后的3D场景中确定一条垂直指向所述投影方向的像素点的投影线作为所述目标投影线。5.根据权利要求1至4任一项所述的图像渲染模型训练方法，其特征在于，所述图像渲染模型的损失函数是基于所述容积渲染图像与所述多角度目标场景图之间的均值方差确定的。6.一种图像渲染方法，其特征在于，包括：确定目标场景对应渲染图像的目标角度；基于所述图像渲染模型，得到所述目标角度对应的渲染图像；其中，所述图像渲染模型是基于权利要求1至5任一项所述的图像渲染模型训练方法训练得到的。7.一种图像渲染模型训练装置，其特征在于，包括：2CN113888689A权利要求书2/2页第一确定单元，用于确定目标场景的多角度目标场景图；容积渲染单元，用于将所述多角度目标场景图输入至容积渲染模型，得到所述容积渲染模型输出的容积渲染图像；模型训练单元，用于基于所述容积渲染图像以及所述多角度目标场景图，对初始化的具有隐式场景表达能力的神经辐射场进行训练，得到图像渲染模型；其中，所述容积渲染模型是基于多角度样本场景图训练得到的；所述容积渲染模型先对所述多角度目标场景图进行投影重建，得到用于表征所述目标场景的3D场景密度的显式密度分布矩阵，并基于所述密度分布矩阵确定投影方向的采样点后，基于各采样点中包含有密度与色