一种基于神经网络的光子映射渲染方法和系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN109509248A(43)申请公布日2019.03.22(21)申请号201811138719.6(22)申请日2018.09.28(71)申请人北京大学地址100871北京市海淀区颐和园路5号北京大学(72)发明人林泽辉李胜汪国平(74)专利代理机构北京君尚知识产权代理事务所(普通合伙)11200代理人邱晓锋(51)Int.Cl.G06T15/50(2011.01)G06T15/04(2011.01)权利要求书2页说明书6页附图3页(54)发明名称一种基于神经网络的光子映射渲染方法和系统(57)摘要本发明涉及一种基于神经网络的光子映射渲染方法和系统。该方法包括：1)采用光子映射方法生成k张不同渲染质量的彩色效果图；2)将多组由k张不同渲染质量的彩色效果图构成的训练集输入神经网络进行训练得到神经网络模型；3)基于所述神经网络模型合成全局光照明渲染图像。与现有的渐进式光子映射方法相比，本发明只需要通过由几次迭代的光子映射所产生的中间粗糙结果，就可以藉由本发明提出的神经网络，推测合成渐进式光子映射收敛的渲染结果，从而解决了传统渐进式光子映射方法需要非常耗时的大量迭代才能生成较为理想的渲染结果的问题。CN109509248ACN109509248A权利要求书1/2页1.一种基于神经网络的光子映射渲染方法，其特征在于，包括以下步骤：1)采用光子映射方法生成k张不同渲染质量的彩色效果图；2)将多组由k张不同渲染质量的彩色效果图构成的训练集输入神经网络进行训练，得到神经网络模型；3)基于所述神经网络模型合成全局光照明渲染图像。2.根据权利要求1所述的方法，其特征在于，所述k张不同渲染质量的彩色效果图为k张不同光子收集半径的渲染的彩色效果图，所述k张不同光子收集半径的渲染的彩色效果图在生成时，除了光子半径或者迭代次数的变化，其他绘制参数包括视点参数、光源参数、绘制视口窗口均不发生任何改变；生成的每一张彩色效果图都是一张粗糙图，k张粗糙图构成一组粗糙图。3.根据权利要求2所述的方法，其特征在于，在生成若干组粗糙图作为神经网络训练的网络输入用的数据集时，分别对光源位置以及假想相机位置作一些变化，创建出不同光照参数和视角的场景并进行渲染；对于每一个光照参数和视角，使用SPPM算法生成迭代1000轮次以上的渲染图作为标签；每输入一组粗糙图做训练称为一个周期，在一个周期开始之前打乱整个数据集，并对于每组图进行裁剪，裁剪之后的图像作为网络训练的数据输入。4.根据权利要求1所述的方法，其特征在于，所述k的取值为5～15。5.根据权利要求1所述的方法，其特征在于，所述神经网络模型包括：卷积层，与所述卷积层连接的非线性激活层，与所述非线性激活层连接的多个残差结构块，与所述残差结构块连接的Eltwise层，与所述Eltwise层连接的卷积层，以及连接所述非线性激活层和所述Eltwise层的旁路；所述多个残差结构块中，一个残差结构块代表一个残差网络的功能块。6.根据权利要求5所述的方法，其特征在于，所述神经网络模型的训练过程包括：所述卷积层采用卷积核对输入的数据做卷积操作以抽取浅层特征；然后通过所述非线性激活层进行激活；所述旁路将输入直接连到后面的神经网络层，使得后面的神经网络层可以直接学习残差；所述多个残差结构块通过直接将输入信息传到输出，保护信息的完整性，直接连接浅层网络与深层网络，从而使得梯度能够很好地传递到浅层；所述旁路的输出和经过多个残差结构块之后输出的数据执行Eltwise层的按元素操作；最后执行卷积操作并输出，经过多次训练最终得到神经网络模型及其参数。7.根据权利要求5所述的方法，其特征在于，所述残差结构块进行以下操作：1)对输入数据建立一个shortcut连接，即添加恒等映射，确保结构更深的网络不会比浅的网络效果差；2)对输入数据做卷积；3)通过非线性激活层进行激活；4)对数据再次做卷积；5)把步骤1)的直接输出和步骤4)经过再次卷积之后输出的数据执行按元素操作；6)输出结果。8.根据权利要求5所述的方法，其特征在于，所述Eltwise层的按元素操作包括三种类型的操作：点乘、求和、取最大值。9.一种基于神经网络的光子映射渲染系统，其特征在于，包括：输入数据生成模块，用于采用光子映射方法生成k张不同渲染质量的彩色效果图；2CN109509248A权利要求书2/2页神经网络模型训练模块，用于将多组由k张不同渲染质量的彩色效果图构成的训练集输入神经网络进行训练，得到神经网络模型；渲染模块，用于使用所述神经网络模型把当前视点条件下所生成的粗糙图合成全局光照明渲染图像。10.根据权利要求9所述的系统，其特征在于，所述神经网络模型包括：卷积层，与所述卷积层连接的非线性激活层，与所